首页 / 行业
华中科大冯丹教授:加速数据中心向Diskless架构演进,近数据处理新型盘框技术创新发力
2023-04-23 17:41:00

图:华中科技大学计算机科学与技术学院院长 冯丹
4月20日,在中国深圳举办的华为分析师大会分论坛上,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读。
冯丹指出,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题。表现为:一、数据从盘到计算域CPU,需要8次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;二、在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;三、数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。
国际调研机构IDC的数据显示,2025年数据量将达到175ZB,积累的数据量90%主要来自于近两年,大部分数据来自金融、基因、分子、动力、IoT等等,从结构化到非结构化大量数据的产生,使得对容量、成本的压力越来越大。但是传统的面向结构化数据的数据压缩方法,可以使压缩比达到3:1,但是对于非结构化数据,压缩比小于2,甚至是无效的。如何在存储域实现对于用户来说,透明的、高效、自适应的数据缩减算法也成为一个难题。
随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU、XPU等多样算力,算力效率得以充分发挥;网络从IP、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD,性能、功耗实现全面提升。在Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。
冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:
1、网存协同,DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。
2、数控分离+IO直通,实现控制流与IO流分离,IO直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致IO访问时延,通过存储域IO读写数据流与IO控制处理的分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助DPUbypassCPU,减少数据拷贝开销,提升IO访问性能。
3、盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。
4、算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少80%的IO交互次数,实现对整系统
的CPU和网络带宽节省。同时,在大数据/数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。
华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink®智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。
冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以CPU为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”
本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@elecfans.com。
最新内容
- Efuse是什么?聊聊芯片级的eFuse
- 英飞凌推出XENSIV胎压传感器,满足智能胎压监测系统的需
- FPGA学习笔记:逻辑单元的基本结构
- 创造多样信号的万能工具:函数/任意波形发生器
- 位移传感器结构类型及工作原理与应用
- 开关电源供应器的功能、应用场景以及重要性
- 重庆东微电子推出高性能抗射频干扰MEMS硅麦放大器芯片
- 拒绝一次性芯片,新技术:无线升级芯片
- 芯片迈向系统化时代:EDA软件的创新之路
- 智能安全帽功能-EIS智能防抖摄像头4G定位生命体征监测
- 卫星应用受关注,GNSS导航芯片/模块发展加速
- AI边缘智能分析设备:智慧食堂明厨亮灶的智能化应用
- 美光低功耗内存解决方案助力高通第二代骁龙XR2平台
- 浅谈芯片常用的解密器
- 电路板技术水平和质量水平,影响着机器人赛道的发展前景
- 直播回顾 | 宽禁带半导体材料及功率半导体器件测试
- 写flash芯片时为什么需要先擦除?
- DigiKey 凭借品牌更新荣获四项 MarCom 大奖
- 高精度3D视觉技术,助力工业机器人实现汽车零部件高效上
- 不只是芯片 看看传感器技术我们离世界顶级有多远
- 加特兰毫米波雷达SoC芯片赋能室内安防新应用
- 所有遥不可及,终因AI触手可及
- 一种基于聚合物的化学电阻式传感器使患者检测更容易
- MTK天玑9300重磅发布:全大核时代到来,330亿参数AI大模型
- 如何测量温度传感器的好坏?
- ACCEL光电芯片,性能超GPU千倍,新一代计算架构将更早来临
- 如何利用示波器快速测量幅频特性?有何注意事项?
- 射频连接器使用技巧与注意事项
- STC15W芯片A/D、D/A转换的简单使用
- 群芯微车规级认证的光电耦合器备受电池BMS和电驱电控
- 芯朋微:服务器配套系列芯片已通过客户验证 可应用于AI
- 新能源高压连接器高压互锁(HVIL)功能详解
- FPGA和AI芯片算哪一类?芯片的不同分类方式
- MPS全系列电机驱动产品,助力新能源汽车实现更好的智能
- 基于穿隧磁阻效应(TMR)的车规级电流传感器
- 豪威发布新款 4K 分辨率图像传感器,适用于安防摄像头
- 苹果发布M3系列新款MacBook Pro/iMac:业界首批PC 3nm芯
- 硅谷:设计师利用生成式 AI 辅助芯片设计
- 电容式触摸按键屏中应用的高性能触摸芯片
- DigiKey 推出《超越医疗科技》视频系列的第一季

手机 |
相关内容
平头哥首颗SSD主控芯片镇岳510问世
平头哥首颗SSD主控芯片镇岳510问世,将率先在阿里云数据中心部署,数据中心,芯片,平头,需求,可靠性,稳定性,近日,平头哥首颗SSD主控芯片探秘英伟达显卡的制造之路 | 英伟
探秘英伟达显卡的制造之路 | 英伟达断供GPU,中国大模型何去何从?,英伟达,模型,中国大,显卡,方案,能力,英伟达(NVIDIA)是全球领先的图形数据中心如何更快、更经济地利用AI
数据中心如何更快、更经济地利用AI?,经济,数据中心,用于,机器学习,计算,自动化运维,数据中心中使用人工智能(AI)技术可以带来许多好处,3nm,手机芯片的全新战争
3nm,手机芯片的全新战争,全新,功耗,人工智能,提升,中国,芯片,随着移动通信技术的迅猛发展,手机成为了现代人生活中不可或缺的一部分。慧荣科技打造企业级SSD主控芯片,为
慧荣科技打造企业级SSD主控芯片,为企业数据中心保驾护航,芯片,数据中心,企业,企业级,多种,数据存储,慧荣科技是一家专注于研发和生产数据中心短缺:人工智能未来的致命阻
数据中心短缺:人工智能未来的致命阻碍?,人工智能,数据中心,采用,需求,算法,存储技术,数据中心短缺是人工智能未来发展的一个重要致命突破!打破国外垄断,中国首款自主可控
突破!打破国外垄断,中国首款自主可控芯片光刻OPC软件,首款,自主可控,垄断,中国,芯片,突破,中国首款自主可控芯片光刻OPC软件的突破,标俄罗斯采购龙芯5000系列处理器减少
俄罗斯采购龙芯5000系列处理器减少对英特尔依赖,中国处理器走出国门,处理器,英特尔,俄罗斯,龙芯,国门,中国,近年来,俄罗斯政府一直在