傲腾技术如何提升全闪性能?英特尔数据平台峰会上XSKY星辰天合受邀分享

2022/10/20

9月23日-24日,英特尔数据平台峰会在北京举行。XSKY星辰天合副总裁张旭明应邀出席峰会并发表主题演讲,向与会嘉宾介绍了傲腾技术在分析型全闪架构的应用实践,以及在芯片设计(EDA)、金融分析型场景中的解决方案。

据英特尔介绍,傲腾技术基于3D Xpoint存储介质打造,相比于 NAND 闪存速度可超出1000倍左右,同时延迟更低,寿命更持久。相比于内存,又具有非易失性,断电后存储的内容不会丢失。

为满足一些大规模的数据密集型业务场景中,如批处理、实时分析、HPDA、AI、机器学习(ML)等,以及PB级数据量对数据的访问效率和读写性能底层存储平台的更高需求,今年7月XSKY星辰天合发布了全闪存一体机-- XINFINI™ 星飞系列。



张旭明在峰会演讲时介绍,XINFINI™ 星飞系列产品选用了Intel的相关硬件作为核心部件,包括CPU、网卡、缓存盘及数据盘。


其中,CPU采用Intel至强处理器,网卡采用支持两种RDMA协议的Intel网卡,缓存盘采用高稳定性、低延迟、高寿命的Intel SSD P4800X“傲腾”固态硬盘,数据盘采用能显著提升存储密度的Intel企业级QLC固态硬盘P5316,“几者的结合让星飞系列在运算速度、网络吞吐、存储性能及存储容量上实现了飞跃。”


性能好,存储密度高,成本低

“傲腾SSD的优势在于性能好,可擦写次数高,但存储密度低、成本高;而QLC SSD则刚好补齐其不足,优势在于顺序大块写性能好,存储密度高,成本低,但擦写次数受限,寿命短。” 

张旭明介绍到,全闪存 XINFINI™ 星飞系列从技术架构解决了两大方面问题:一是让高性能、高寿命的SSD承担前端大部分最热的IO;二是对前端的小IO和已经冷却的数据进行聚合而后顺序写入寿命短、成本低的QLC SSD。

为了做到上述两点,XINFINI™ 星飞在硬件层面为Cache OSD配置了Intel Optane SSD,通过分布式全局Cache策略,使得最热的数据能够保留在Cache层,最终流向Data OSD(QLC SSD)的都是相对较冷的数据。采用该架构既发挥了Optane SSD寿命长、性能高的特点,也屏蔽了QLC SSD寿命短的天然劣势。

XINFINI™ 星飞系列软件层采用XSKY SDS V5的分布式架构,通过软件的能力将硬件的性能发挥到极致,软件的核心架构主要包括两个方面:XSpeed IO 分层技术、Log Append 刷盘技术。

XSpeed IO 分层技术:XSpeed IO 分层技术将若干单机缓存聚合成统一的全局缓存池,并且实现冷热数据分层。

Cache层采用傲腾SSD,并使用三副本提供高性能;数据层采用QLC SSD承接大IO读写,XSpeed 会将Cache层的小IO合并为大IO写入数据层,同时使用EC算法,进一步提高数据盘的得盘率。另外,对于性能敏感的元数据访问,XSpeed 会将其直接放入Cache层以提高整体性能。


LogAppend刷盘技术:LogAppend可以把随机小块写IO聚合成大块顺序写,然后刷到数据层中。

数据层的大块顺序写性能很高,可以快速腾出Cache空间给前端业务使用。数据层采用EC技术,对于聚合成大块顺序条带写入的数据,不会有写放大问题,性能更高。LogAppend模块不仅聚合随机小块,而且还对数据进行压缩和缩减,为用户节省更多空间,可以做到在大压力下性能平稳。


同时,为了提供极致的性能体验,XINFINI™ 星飞还进行了很多端到端的技术优化:在网络层使用Transport替代msgr,解除网络层瓶颈和OS瓶颈;在OSD内部修建新的高速公路FastPath,替代旧的IO路径;在线程优化方面,基于分组的智能调度策略,实现无锁化队列,较少的上下文切换等;同时还使用 NUMA 绑定和 RDMA 来降低内存和网络时延。

XINFINI™星飞9000系列即将面世

XSKY星辰天合与英特尔傲腾技术不仅在产品相互结合提升性能体验,在一些场景中亦有针对性的解决方案。

张旭明介绍说,XINFINI™ 星飞基于傲腾的高性能分布式文件系统,提供了针对芯片设计场景(EDA)的解决方案。

第一,元数据服务基于Optane高速介质,通过独有专利的元数据设计方案,实现高性能、低延迟的文件元数据访问;

第二,利用XSKY星辰天合独有的 XSpeed 缓存池设计,给文件访问带来极致的性能体验。

某EDA客户使用该方案后,单次运行时间缩短了30%,同时实现了数据完全共享及数百工程师同时协作的能力,大幅提升了产出效率。


同样针对金融分析型场景中持续高性能的访问需求、大规模集群的成本控制需求,业务持续创新的需求等新问题,XINFINI™ 星飞系列提供了面向金融分析场景的解决方案。

第一,专用客户端直接部署在应用的Linux主机上,采用私有协议和存储集群通讯;第二,所有客户端均支持并发访问所有存储节点,具备极致的性能;第三,为不同计算提供不同的缓存策略,最终达到最优性能;第四,以Optane构成元数据池与缓存池,提供极致的性能体验。

某银行客户采用XINFINI™ 星飞替换传统 AFA 产品后,跑批时间由原来的2小时缩短到1小时20分钟,同时采购成本降低了20%运维成本降低了30%,业务可按需弹性扩展 ,资源统一管理。


目前XSKY 星辰天合即将发布全NVMe形态的 XINFINI™ 星飞 9000 系列,经过与上一代SATA SSD形态的 XINFINI™ 星飞 8000 系列对比测试,单节点容量更大,时延更低,数据读写性能有较大提升。


本次英特尔数据平台峰会聚焦分享计算、存储、网络领域的最新技术,加速生态合作伙伴在云、大数据、AI等领域的技术提升与应用落地,推动数据中心领域技术的发展与革新。

XSKY星辰天合是中国唯一获得英特尔®精选解决方案认证的SDS厂商。今年7月,XSKY星辰天合联合英特尔等数据中心、云厂商、数据服务等领域的十多家合作伙伴,共同启动“数据常青战略合作生态”,一道为客户打造基于云边协同形态的、围绕数据存储、数据管理和数据应用为核心的服务生态,为数据“汇、存、管、用”全生命周期的管理保驾护航,赋能下沉市场加速企业数字化转型升级。

Copyright © 2022 北京星辰天合科技股份有限公司 版权所有

京公网安备11010802038698号 京ICP备 15052820号

全选