快盘下载:好资源、好软件、快快下载吧!

快盘排行|快盘最新

当前位置:首页软件教程电脑软件教程 → 阿里云Optane+QLC存储实践案例分享

阿里云Optane+QLC存储实践案例分享

时间:2022-10-20 21:36:56人气:作者:快盘下载我要评论

作者简介;周雁波;阿里云资深云储研发工程师;曾就职Intel参与spdk软件研发工作; 《Linux开源存储全栈详解;从Ceph到容器存储》作者之一。

版权声明;本文由周雁波先生授权发表;未经授权请勿转载。


本文主要分享主题在阿里云本地盘存储中;基于Optane SSD和SPDK WSR的功能;降低QLC SSD的写放大。

阿里云Optane+QLC存储实践案例分享

本地盘是ECS实例所在物理机上的本地硬盘设备。本地盘能够为ECS实例提供本地存储访问能力;具有低时延、高随机IOPS、高吞吐量和高性价比的优势。

在本地盘会提供两种规格的产品;

  • I系列实例;提供低延迟、高随机/顺序性能;适合OLTP/OLAP/NoSQL等数据库场景。

  • D系列实例;提供高顺序带宽;低成本;适合HDFS/HBase等海量数据存储场景。

Optane

在云存储的演进过程中;有几个阶段;

  • 第一阶段;基于SATA/SAS HDD高带宽、大容量、低成本的优势;在内核态virtio-blk虚拟化存储;提供中断响应的IO场景。

  • 第二阶段;基于NVME 3D TLC NAND SSD低延迟、高性能的优势;基于SPDK用户态;提供Polling模式的IO场景。解决了基于传统软件栈一些开销

  • 第三阶段;随着QLC和PLC SSD的来临;由于大容量低成本的特性;但是性能和寿命却受到写放大的影响。如何解决这个问题;也是本文的重点。

Optane

写放大是NAND-based SSD中最让人头疼的因素。主要的根源是操作粒度之间的差异;

  • SSD IU(Indriection Unit, 盘内部物理的访问的大小)比用户操作数据块要大。Intel QLC SSD有16K IU和64K IU两个代次。

  • SSD擦除的数据块大小比应用层的数据块也要大。

写放大会影响性能和寿命;比如下图;随机写IOPS性能会不断的下降直到一个稳态;此时盘内部的写放大会达到最大。写放大如果太大的话;也会降低SSD的寿命;加速盘的老化。

Optane

下图中;采用50%混合随机读场景比100%纯随机读场景的延迟要高出一个量级;这里面的原因也主要是GC和写放大对延迟的影响。

阿里云

为了解决写放大对QLC SSD性能和寿命的影响;我们采用了基于Optane SSD的缓存和分层存储架构。Optane SSD的优势是高读写性能;高可靠性/耐久性;同时没有类似NAND-SSD因为复写而带来的写放大的影响。作为缓存层是非常理想的选择。

Optane

在写过程的IO传输路径中;IO会写到本地盘虚拟块设备中;然后优先落盘到Optane SSD;完成写入响应后;再从Optane SSD中通过聚合/压缩等算法;形成大块顺序写场景;把数据下刷到QLC SSD中;降低写放大。

  • 传统的cache缓存改进基于bcache;OCF;对NAND不是很友好的写入。在Optane下刷过程;也不是SSD IU对齐的IO pattern。

  • 基于WSR(Write-Shaping RAID)的写入对NAND非常友好;大块写且顺序;同时与SSD IU对齐。这样实现的方式从软件上做了彻底的优化;降低写放大。

Optane

整个WSR的数据流过程;主要有几个步骤;

  • 第1步;数据会写写入WSR Bev

  • 第2步;通过Append-only追加写的方式;写入数据到Optane SSD;同时基于VSS实现meta的安全校验;保证数据安全性。

  • 第3步;更新软件管理的L2P映射表;这里面为了提升效果;热点访问的映射表放在DRAM;其他的放在Optane缓存盘。

  • 第4步;通知用户完成写入。到这里跟用户之间的交互就完成了。

  • 第5-7步;是后台执行的动作;Optane SSD中通过聚合/压缩等算法;形成大块顺序写场景;把数据下刷到QLC SSD;同时更新QLC对映的L2P映射表。

阿里云

一些软件优化之后;分别针对QLC 10% OP、Optane;QLC & OCF、Optane;QLC & WSR三种场景测试IO性能;测试结果提升明显;

  • 特别是#5;#6测试项;针对4K顺序和随机写场景;Optane;QLC & WSR的性能提升2个数量级

  • #3;#4测试项中;基于齐普夫定律的反应热频高低;在热点数据场景(Zipf 1.2)中;Optane;QLC & WSR对性能的提升更加优异。

Optane

基于Optane;QLC和SPDK WSR的优化能力;在阿里云本盘D3C场景已经实现。

Optane

相关文章

  • Docker设置阿里云镜像加速器

    Docker设置阿里云镜像加速器,由于docker官方镜像都在国外,在下载速度上有一定的限制,所有为了更快更高效的下载docker镜像,我们使用国内的镜像加速器来,提高我们的下载速度。...
  • 阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?

    阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?,阿里云服务器(Windows)磁盘空间不足时如何释放磁盘空间?Windows实例磁盘空间不足时可以通过清理磁盘中不需要的文件来解决,具体操作如下:1.找出占用磁盘空间过多的文件。 a.远程连接并登录到Windows实例。具体操作,请参见远程连接。 b.单击开始 > 这台电脑。 c.单击要清理的磁盘,按下键盘的Ctrl+F键。 d.单击顶部导航栏搜索 > 大小,然后根据系统定义大小筛选指定磁盘的大文件。2.删除不需要的文件。...

网友评论

快盘下载暂未开通留言功能。

关于我们| 广告联络| 联系我们| 网站帮助| 免责声明| 软件发布

Copyright 2019-2029 【快快下载吧】 版权所有 快快下载吧 | 豫ICP备10006759号公安备案:41010502004165

声明: 快快下载吧上的所有软件和资料来源于互联网,仅供学习和研究使用,请测试后自行销毁,如有侵犯你版权的,请来信指出,本站将立即改正。