现在的位置: 主页 > 商讯 > 文章正文
0.5ms 时延,华为是如何做到的?
作者:吴桥县齐源纤维素有限公司 来源:www.qy-xws.com 发布时间:2020-04-29 14:04:14
0.5ms 时延,华为是如何做到的?   闪存之所以成为时下的大热门,很大程度上是因为用户业务对于数据处理的时间要求已经越来越高,以更快的速度完成对数据的处理和分析,也成为在商业竞争中获得优势的重要保证。
  虽说各个厂商都相继推出了全闪存产品,但是作为衡量全闪存阵列的重要指标——"稳定时延"却各有差异,华为新一代全闪存阵列OceanStor Dorado V3的稳定时延可以做到0.5ms,在全行业达到领先水平,本文就硬件和软件架构设计上,来简单阐述一下OceanStor Dorado V3做到0.5ms时延背后的原因。  在硬件设计上,OceanStor Dorado V3每个控制框最大支持级联4个硬盘框进行容量扩展,为支持稳定低时延和线性扩展带宽,硬盘框全部采用12Gbps的SAS直连控制框模式,而不是传统存储的硬盘框间级联模式;更重要的是,OceanStor Dorado V3解决了困扰无数厂商的PCIe热插拔和双端口访问困难,支持NVMe SSD作为存储介质。并且,华为OceanStor Dorado V3 在协议栈上对NVMe SSD进行了精简,且不再需要HBA卡进行转换,后端链路整体时延有效减少。  在软件系统层面,OceanStor Dorado V3也做了大量优化,以保证端到端稳定时延,摘取一些关键的信息与各位分享。  分而治之,隔离干扰,减少时延的消耗  上下班需要乘坐公交车的朋友,应该会为政府划出公交车专用道的策略拍手叫好吧。有了这个专用道以后,公交车可以不用去跟私家车抢用车道,即使在上下班的高峰期也可以保证通畅的行驶,坐公交车的时间基本在可预测范围内。而私家车则共享着多条非公交车道,保证车道的高利用率。  由于后端SSD的IO处理能力提升,以及存储特性的不断丰富,全闪存阵列实际是一个计算密集型系统,需要强劲的处理器承担计算任务。这样的处理器一般拥有数十个物理核,这些核就像公路上的多个车道,存储系统中的各种业务处理逻辑就像行驶在这些车道上的车辆,对时延敏感的关键处理相当于公共汽车,为了保证这些关键处理能够不被频繁打断,不被其他任务阻塞,华为OceanStor Dorado V3实现了先进的处理器分组技术,将处理器中的各个核按照业务需要划分成不同的分区,类似于划分出公交专用道和非公交专用道,关键业务处理在自己的分区上运行,不会被其他任务打断,使得这些时延敏感的关键业务处理时间变得可预测。分区中若包含多个核,则在分区中执行的多个任务可以共享这些核,提升处理器利用率,降低时延的消耗。  IO业务请求"VIP制",业务诉求优先响应  大家到银行办理业务时,应该注意到各大银行都为VIP客户设置了专用的窗口,VIP窗口繁忙时,VIP客户甚至可以直接插队到普通窗口优先处理,这样可以保证VIP客户得到最高效的服务。同样的,华为OceanStor Dorado V3为了保证请求的稳定低时延,也在系统中引入了类似VIP制的IO优先级调度机制,读请求和写入cache的写请求就像拥有"钻石卡",可以在存储系统内优先拥有各种关键处理资源,包括CPU、内存、访盘并发等,而cache异步刷盘的请求以及系统内部产生的后台请求只能拥有"普通卡",在出现资源争抢时,需要让位于拥有"钻石卡"的请求。  有效聚合,保证大块顺序写入SSD,实现请求处理效率最优  打车软件的普及给大家带来了很多方便,其中有一个拼车功能相信大家也不陌生,其作用在于聚集多个路线相近的用户同乘一辆车,既可以让每个用户支付的金额变少,也可以更加充分的利用公共交通资源,节省总体能耗,为更多的用户提供服务。  与之类似,华为OceanStor Dorado V3基于ROW机制聚集等待下盘的请求,形成较大粒度的数据块后一次性写入SSD,减少了压缩场景下随机小块写入SSD的次数,以及写入盘片后由于不对齐产生的盘内开销,提升系统整体性能。  另外在提供RAID保护的存储系统中,RAID写惩罚(校验时需要进行的额外读写操作)一直是影响性能的要素之一,华为OceanStor Dorado V3按满分条聚集请求后一次性下盘,有效减少下盘次数,也减少了校验产生的额外读写请求数,在保证性能的同时为支持更多冗余盘片的RAID算法(如RAID-TP)提供了更加有力的条件。  冷热数据分区,减少写放大,提升性能  众所周知,闪存颗粒只有在擦除后才能重新写入数据,SSD内部通过盘内垃圾回收找到垃圾量高的block,将有效数据搬移后,擦除对应的block,用于后续的写入。一个擦除块中数据是按照一个一个的page写入,随着这些page变为无效数据后,擦除块的垃圾量将逐渐增高,垃圾量越大垃圾回收时需要搬移的有效数据就越少,对SSD的性能和寿命影响就越小。  对于盘片来说,相同逻辑位置上的page只要发生了新写,原物理位置的page就会变为无效的垃圾,所以对于一个擦除块而言,各个page从写入到变为无效的周期越接近,在一定时间内都变为垃圾的可能性更高。在存储系统中,用户数据和元数据更新的频率差异很大,元数据更新非常频繁,用户数据更新的周期相对较慢,如果元数据和用户数据混合在一起写入盘上同一个block,那么元数据对应的物理page会很快失效,但是用户数据对应的物理page仍然有效,最终在垃圾回收时不得不大量的搬移用户数据,导致盘上写放大过大,影响SSD盘片的寿命和性能。因此华为OceanStor Dorado V3通过盘控配合将存储系统中更新频繁的元数据,以及相对不频繁的用户数据写入到不同的擦除块上,并保证元数据和用户数据写入的擦除块定期互换实现磨损均衡。  高效的元数据缓存机制,为闪存加速,并适应大盘时代诉求  全闪存产品要同时支持在线重删压缩、无损快照等特性,并且要达到较好的效果,需要按照细粒度管理用户空间,而细粒度的管理会引入大量的元数据,而且这些元数据会更新得非常频繁,因此能够在内存中访问元数据是全闪存达成最优性能的一个关键。  但是随着硬盘容量不断增加,要完全做到将所有元数据存放在内存中非常困难。比如前段时间某存储产品由于元数据采用全内存的方式存放,在硬盘容量不断扩大的趋势下不得不要求客户破坏性升级,把用户空间管理粒度改为8KB。这种杀鸡取卵的方式让用户怨声载道,品牌形象严重受损。  华为OceanStor Dorado V3采用元数据缓存的方式支持元数据换入换出,在无缝适应硬盘容量不断增大趋势的同时,尽可能的保证频繁访问的元数据在内存中命中。元数据缓存机制对应的核心技术包括元数据管理结构压缩处理,元数据缓存多级优先级淘汰算法,元数据快速预热算法,如上下电、控制器故障等场景加速元数据重新缓存到内存中的高效算法。

  以上用我们日常生活的场景来对照OceanStor Dorado V3的核心算法技术,希望帮助大家理解。

推荐阅读/观看:新洲网站建设 http://www.xzwzjs.com.cn


  • 上一篇:《我的恶魔少爷》金句频出 “暖心”与“开心”兼备
  • 下一篇:最后一页
  • 
    COPYRIGHT © 2015 传奇私服_吴桥县齐源纤维素有限公司 ALL RIGHTS RESERVED.
    本站所有原创信息,未经许可请勿任意转载或复制使用 网站地图 技术支持:肥猫科技
    精彩专题:网站建设
    购买本站友情链接、项目合作请联系客服QQ:2500-38-100