快盘下载:好资源、好软件、快快下载吧!

快盘排行|快盘最新

当前位置:首页软件教程电脑软件教程 → COS+CVM+CDN 3C实现最低成本往返传输本地数据

COS+CVM+CDN 3C实现最低成本往返传输本地数据

时间:2022-08-13 20:00:14人气:作者:快盘下载我要评论

前言

背景

比如有这样的情况,客户是专门做影视的,渲染服务器在国内,拍摄组分布在欧洲各地,每天产生的数据高达500G,需要传到云服务器进行转码渲染,处理后数据差不多300G,然后再传回本地做备份

COS+CVM+CDN 3C实现最低成本往返传输本地数据

image.png

问题

但是问题就来了,客户的数据如何上传与下载?传统的办法就是利用FTP,或者远程桌面直接传输

这样的缺点非常明显,不支持断点续传,也不支持文件校验,同时效率非常低,遇到丢包延迟的时候甚至无法顺畅传输

一些公司可能会使用网盘的方式进行传输,但是同样存在缺点,数据不可控,有可能因为协议变更或资源敏感导致客户的数据无故删除,造成极大风险。或是速度无法达标造成效率低下。

若服务器没有公网地址,以上方法均无法正常进行。若服务器存在公网,考虑到公网带宽的成本,按量付费的100Mbps就得25块每小时,公网网络定价 _ 公网网络价格 _ 公网网络计费模式 - 腾讯云 (tencent.com),按照100Mbps带宽全部跑满的情况下,300G数据大约要6小时,差不多一天需要150元

如果是按流量计费的带宽,以成都区为例,每G 0.8元的费用,若每天300G则每天为240元,费用较高

考虑到海外拍摄组传输的问题,直连到国内的服务器的效率不会很高,面临丢包,断连的问题。

如上所有问题,对于一家注重成本或者刚起步的客户,该如何解决?

场景优化

对象存储COS侧

同地域下,对象存储与CVM默认走内网通道,即使没有开通公网,也能直接对数据进行操作,省去了公网带宽的费用。同时内网流量是完全免费的:https://cloud.tencent.com/document/product/436/56556

image.png

如此一来,从服务器传入传出到对象存储的数据,只收流量之外的费用,而这部分费用可以忽略不计(小于0.001元)

由于是内网通道,相对公网来说更加稳定,速率更高,腾讯云CVM最低内网带宽为2.5Gbps,还有更高内网带宽的机型。

而且对象存储产品支持分片上传,断点续传

本文只讨论流量费用,由于对象存储是作为临时传输用的,1天内会删除,存储费用不考虑在内

内容分发网络CDN侧

由于服务器与对象存储在国内,直接从海外上传与下载的体验不是那么好,有可能会遇到高延迟和丢包的情况,这时候可以借助CDN进行加速,

COS 中的 CDN 适用于以下场景:

对响应延时和下载速度有较高要求的场景。需跨地区、国家、大洲传输数 GB 至数 TB 数据的场景。需高密集地反复下载相同内容的场景。

同样CDN到COS之间的流量走的也是内网,流量费用按照未通过CDN直接访问源站产生的公网流量费用+CDN访问的费用 进行收费

内容分发网络 CDN

CDN+COS加速计费示例

https://cloud.tencent.com/document/product/228/37849

按流量计费的价格如下:

云服务器

COS流量定价

对象存储

CDN流量定价

内容分发网络 CDN

CDN带宽计价

相较于COS在欧洲地区的0.5-0.9元/GB,CDN只需要0.31元/GB,每GB省下了最多0.5元,成本直接减半

上例中300G数据通过COS直接下载的价格为150元,而通过CDN只需要93元

对比方案

以下数据均为按量付费(按日或小时计费),CVM带宽100Mbps

1GB=1024MB,1T=1024GB,1MB/s=8Mbps

其中,CVM所在地域为中国大陆,COS与CVM同地域,CDN在欧洲

CVM按带宽计算计费价格公式:数据量*1024/(带宽/8)/3600*带宽费,单位为(GB,Mbps)

数据量 GB

CVM流量费用

CVM带宽费用

COS流量费用

CDN流量费用

20

16

11.37777778

10

6.2

100

80

56.88888889

50

31

500

400

284.4444444

250

155

1024

819.2

582.5422222

512

317.44

5120

4096

2912.711111

2560

1331.2

10240

8192

5825.422222

5120

2252.8

通过上述数据综合计算下来,CDN的费用是最低最划算的,单价在以上产品中均为最低单价

若使用资源包,COS与CDN流量费用还能进一步折扣

实施方案

整个方案的结构如下:

内容分发网络 CDN

image.png

开通相关服务

进入对象存储COS,云服务器CVM,内容分发网络CDN 控制台,首次打开会要求开通授权,根据指引操作即可

创建存储桶

可参考:https://cloud.tencent.com/document/product/436/13309

注意,创建存储桶时,地域要与CVM所在地域一致,否则将会通过公网收取费用

存储桶权限建议设置为私有读写

创建CDN服务

可参考:https://cloud.tencent.com/document/product/228/3149

注意,CDN源站选择COS源,建议选择https回源,开启私有存储桶访问保证安全。加速类型选择大文件下载或根据业务场景选择

其余配置根据文档指引与业务需要进行配置

CVM内建议配置

如无公网需要,建议不开通公网,从内网仍然可以访问到对象存储

若系统为Windows,建议使用浏览器或COSCMD工具访问对象

通过浏览器直接访问对象地址即可在CVM进行下载,COSCMD工具指引:https://cloud.tencent.com/document/product/436/10976

Linux系统建议直接使用COSFS挂载到本地进行操作:https://cloud.tencent.com/document/product/436/6883

对象存储的本地数据上传

参考:控制台操作

此外还可以使用CosBrowser工具完成:CosBrowser操作

对象存储上传会分片上传,极大提升了稳定性,减少了资源内存的占用,而且相较于FTP,对象存储支持断点续传,即使遇到断网的情况,恢复网络后依然能继续上传

CVM上传数据至对象存储

参考 COSCMD操作

控制台操作https://cloud.tencent.com/document/product/436/13321

总结

由于业务环境复杂,这种方式仅能节省成本,但是而外增加了操作的时长

但是一般的FTP,RDP等P2P的文件传输,可能会因为断网等不可控因素导致数据中途丢失只能从头传输,增加了风险。使用上述这样的方法更安全可靠。

而且通过COS连接CVM,全部走内网通道,速率,稳定,安全性可以达到最高,同时流量费为0,请求费可以忽略不计

除了传输数据,对象存储还提供了高安全性可靠的数据保障,如果本地文件损坏时,对象存储也能提供一份备份以防万一,如开头所说,客户在本地的备份同样也可以使用对象存储进行备份操作。

通过CDN,能让在COS里的数据更快速稳定地传输到本地,同时也能节省直接从COS下载的流量费用,一举两得的好方法,随着流量的增多,节省的费用将会越来越多,如下为理论上能够节省的费用

数据量 GB CVM流量费用 CDN流量费用 CDN节省率

云服务器

image.png

可以看到,CDN+COS对比直接从CVM出网,能节省50%以上的费用


教程到此结束,更多可能,我们共同探索

Powered by Ar-Sr-Na

原创声明,本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关文章

  • 阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?

    阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?,阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?Windows实例磁盘空间不足时可以通过清理磁盘中不需要的文件来解决,具体操作如下:1.找出占用磁盘空间过多的文件。 a.远程连接并登录到Windows实例。具体操作,请参见远程连接。 b.单击开始 > 这台电脑。 c.单击要清理的磁盘,按下键盘的Ctrl+F键。 d.单击顶部导航栏搜索 > 大小,然后根据系统定义大小筛选指定磁盘的大文件。2.删除不需要的文件。...
  • 腾讯云服务器从购买到搭建tomcat

    腾讯云服务器从购买到搭建tomcat,腾讯云轻量服务器从购买到搭建tomcat环境...

网友评论

快盘下载暂未开通留言功能。

关于我们| 广告联络| 联系我们| 网站帮助| 免责声明| 软件发布

Copyright 2019-2029 【快快下载吧】 版权所有 快快下载吧 | 豫ICP备10006759号公安备案:41010502004165

声明: 快快下载吧上的所有软件和资料来源于互联网,仅供学习和研究使用,请测试后自行销毁,如有侵犯你版权的,请来信指出,本站将立即改正。