首页 / 行业
速度和容量受制？No！高性能存储的瓶颈不止于此
2022-02-25 09:40:00
近两年以来存储市场可谓好不热闹，SSD带来的急速已经体现在了下至消费电子，上至超算的性能上，然而随着高性能计算走上了全新的道路，大吞吐量和大容量也已经不再是HPC存储关注的唯二设计目标了。
那么当下的HPC存储遇上了哪些挑战呢？首先数据生成已经在被数据接入逐渐取代，大数据环境下，IOPS要求的反而是小数据的随机存取。其次，“寻找”到真正所需的数据成了最关键的一环，也对元数据在统计、读取、写入和删除上提出了更高的要求。加之近年来涌现的不同文件与数据形式，处理起来需要额外的注意，高性能存储必须具备大型数据转移的能力。
新的高性能计算场景
就以目前一些在建的智能城市项目为例，诸多传感器和执行器散落在城市中，激光雷达、摄像头、微流控传感器和电机，它们将产生PB级别的原始数据，这些数据在需要经过压缩、预处理、上传、深度学习和推理，存储可以说与边缘计算和机器学习紧密联系在一起。
另一个例子就是我们的自动驾驶，如今的自动驾驶方案都是通过数据与高性能计算实现的，像特斯拉这样的厂商甚至自研自建芯片和超算，用于其自动驾驶技术的开发。自动驾驶测试车队每天都要将PB级的遥测传感数据传输给数据平台，随后经过标签、分类、错误检测和仿真，再放到大型存储系统中，而这样的大型存储平台不仅大小可能扩展至EB级，还要承受着仿真、再处理与机器学习的繁重负载。
在这些新场景给出的挑战下，兴起了一波新的技术，比如PCIe 4.0朝PCIe 5.0转变，光模块从200G朝400G的转变，使用GPU直接存储等专用协议等等。这些技术多数是对HPC存储在吞吐量上的提升，而更重要的是对特定工作流效率的优化。
HPC系统中存储的组成
在当下的HPC场景中，无论是本地部署还是云端环境，都需要一个计算平台，可能是CPU或是CPU+GPU/加速器的配置，这一节点可以充分利用3D Xpoint这样的持久内存，不仅可以提供低延迟的内存数据访问，在断电下不丢失数据，还可以用上DAOS这样分布式异步对象存储的文件系统。
Lustre文件系统 / Lustre
接着是存储平台，也就是并行文件系统的所在，这个系统可能是基于Lustre、Spectrum或是NVMe-oF的方案。但无论是哪种系统，考虑到需要低成本大容量，通常都会用到NVMe硬盘和HDD硬盘的混合方案，但这就提出了数据分布以及数据移动上的挑战。不过现在已经有了PCC/LROC这样的客户端持久性高速缓存，在存储或数据敏感的环境中，只需完成计算平台和存储平台相关的数据移动，进一步降低了I/O开销。
最后是数据的管理，这一部分属于对大量数据更加长期的存储，比如像波音这样的航空公司，需要对每一架飞机的细致数据存储50年以上，还要具备数据追溯的能力。这样的存储并不需要拥有高速的性能，但在前端的程序需要时提供即时的交互，而且为了节能考虑，要做到所谓的“零功耗存储”。
超算是怎么做的？
随着不少超算都已经在布局百亿亿级的系统，作为HPC中最顶端的应用，我们自然可以从中窥得一二，看一看当下主流的HPC存储方案。以计划于今年打造完成的Frontier超算为例，该超算将成为美国第一台百亿亿级别的超算，算力约为1.5 exaFLOPS。
Frontier超级计算机 / AMD
Frontier采取了AMD的全套方案，结合AMD的EPyc CPU和Radeon Instinct GPU，在AMD的缓存一致性互联方案下，CPU上的代码可以直接访问GPU内存，这也就是我们在上文提到的GPU直接存储技术。在存储系统上，Frontier用到了679PB基于Lustre+ZFS的文件系统方案，用47700块硬盘实现，最高速率可达5TB/s。高速存储上，共有5400块NVMe固态硬盘组成11PB的存储空间，提供10TB/s的读取速度。
Aurora超级计算机 / 英特尔
而Aurora同样作为今年推出的百亿亿级超算系统，则选择了英特尔的方案，单个计算节点由两个Xeon Sapphire Rapids、6个Xe Ponte Vecchio GPU和一个通用内存架构组成。其主要存储方案也选择了英特尔的DAOS文件系统，结合NVMe和傲腾持久内存，组成一套大于230PB的系统，并实现25TB/s的速度。
小结
在HPC存储上的挑战除了以上提到的这些外，还有近来兴起的存内计算激发的计算能力挑战，未来5年内，无论是存储结构、文件系统乃至存储材料都会再度迎来新的变化。这些变化会先一步解决HPC上的难题，再潜移默化地改善日常应用。
那么当下的HPC存储遇上了哪些挑战呢？首先数据生成已经在被数据接入逐渐取代，大数据环境下，IOPS要求的反而是小数据的随机存取。其次，“寻找”到真正所需的数据成了最关键的一环，也对元数据在统计、读取、写入和删除上提出了更高的要求。加之近年来涌现的不同文件与数据形式，处理起来需要额外的注意，高性能存储必须具备大型数据转移的能力。
新的高性能计算场景
就以目前一些在建的智能城市项目为例，诸多传感器和执行器散落在城市中，激光雷达、摄像头、微流控传感器和电机，它们将产生PB级别的原始数据，这些数据在需要经过压缩、预处理、上传、深度学习和推理，存储可以说与边缘计算和机器学习紧密联系在一起。
另一个例子就是我们的自动驾驶，如今的自动驾驶方案都是通过数据与高性能计算实现的，像特斯拉这样的厂商甚至自研自建芯片和超算，用于其自动驾驶技术的开发。自动驾驶测试车队每天都要将PB级的遥测传感数据传输给数据平台，随后经过标签、分类、错误检测和仿真，再放到大型存储系统中，而这样的大型存储平台不仅大小可能扩展至EB级，还要承受着仿真、再处理与机器学习的繁重负载。
在这些新场景给出的挑战下，兴起了一波新的技术，比如PCIe 4.0朝PCIe 5.0转变，光模块从200G朝400G的转变，使用GPU直接存储等专用协议等等。这些技术多数是对HPC存储在吞吐量上的提升，而更重要的是对特定工作流效率的优化。
HPC系统中存储的组成
在当下的HPC场景中，无论是本地部署还是云端环境，都需要一个计算平台，可能是CPU或是CPU+GPU/加速器的配置，这一节点可以充分利用3D Xpoint这样的持久内存，不仅可以提供低延迟的内存数据访问，在断电下不丢失数据，还可以用上DAOS这样分布式异步对象存储的文件系统。
Lustre文件系统 / Lustre
接着是存储平台，也就是并行文件系统的所在，这个系统可能是基于Lustre、Spectrum或是NVMe-oF的方案。但无论是哪种系统，考虑到需要低成本大容量，通常都会用到NVMe硬盘和HDD硬盘的混合方案，但这就提出了数据分布以及数据移动上的挑战。不过现在已经有了PCC/LROC这样的客户端持久性高速缓存，在存储或数据敏感的环境中，只需完成计算平台和存储平台相关的数据移动，进一步降低了I/O开销。
最后是数据的管理，这一部分属于对大量数据更加长期的存储，比如像波音这样的航空公司，需要对每一架飞机的细致数据存储50年以上，还要具备数据追溯的能力。这样的存储并不需要拥有高速的性能，但在前端的程序需要时提供即时的交互，而且为了节能考虑，要做到所谓的“零功耗存储”。
超算是怎么做的？
随着不少超算都已经在布局百亿亿级的系统，作为HPC中最顶端的应用，我们自然可以从中窥得一二，看一看当下主流的HPC存储方案。以计划于今年打造完成的Frontier超算为例，该超算将成为美国第一台百亿亿级别的超算，算力约为1.5 exaFLOPS。
Frontier超级计算机 / AMD
Frontier采取了AMD的全套方案，结合AMD的EPyc CPU和Radeon Instinct GPU，在AMD的缓存一致性互联方案下，CPU上的代码可以直接访问GPU内存，这也就是我们在上文提到的GPU直接存储技术。在存储系统上，Frontier用到了679PB基于Lustre+ZFS的文件系统方案，用47700块硬盘实现，最高速率可达5TB/s。高速存储上，共有5400块NVMe固态硬盘组成11PB的存储空间，提供10TB/s的读取速度。
Aurora超级计算机 / 英特尔
而Aurora同样作为今年推出的百亿亿级超算系统，则选择了英特尔的方案，单个计算节点由两个Xeon Sapphire Rapids、6个Xe Ponte Vecchio GPU和一个通用内存架构组成。其主要存储方案也选择了英特尔的DAOS文件系统，结合NVMe和傲腾持久内存，组成一套大于230PB的系统，并实现25TB/s的速度。
小结
在HPC存储上的挑战除了以上提到的这些外，还有近来兴起的存内计算激发的计算能力挑战，未来5年内，无论是存储结构、文件系统乃至存储材料都会再度迎来新的变化。这些变化会先一步解决HPC上的难题，再潜移默化地改善日常应用。
最新内容
| 手机 |
相关内容
写flash芯片时为什么需要先擦除？
写flash芯片时为什么需要先擦除？，擦除,芯片,充电,初始状态,存储单元,数据，Flash芯片是一种非易失性存储器技术，用于存储数据并实现固
半导体主控技术：驱动自动驾驶革命的
半导体主控技术：驱动自动驾驶革命的引擎，自动驾驶,交通,自动驾驶系统,数据,车辆,自动，随着科技的不断进步，自动驾驶技术已经成为现实
苹果即将推出Mac系列新品，或搭载3nm
苹果即将推出Mac系列新品，或搭载3nm M3芯片，芯片,搭载,推出,全新,市场,研发，近日，有关苹果即将推出新一代Mac系列产品的消息引起了广
Arbe 4D成像雷达以高分辨率雷达技
Arbe 4D成像雷达以高分辨率雷达技术和先进处理技术消除“幽灵刹车”问题，刹车,成像,分辨率,系统,目标,数据，Arbe 4D成像雷达是一种
清华大学研发光电融合芯片，算力超商
清华大学研发光电融合芯片，算力超商用芯片三千余倍，芯片,研发,商用,测试,计算,科学研究，近日，清华大学发布了一项重要科研成果，他们成
英特尔不应该担心英伟达Arm架构的P
英特尔不应该担心英伟达Arm架构的PC芯片？恰恰相反，芯片,英伟达,英特尔,调整,研发,推出，英特尔目前是全球最大的半导体公司之一，主要以
工业物联网数据采集：从Modbus到MQTT
工业物联网数据采集：从Modbus到MQTT，数据采集,物联网,模式,网关,协议,数据，工业物联网（Industrial Internet of Things，IIoT）的核心任务
射频前端芯片GC1103在智能家居无线
射频前端芯片GC1103在智能家居无线通信IoT模块中应用，模块,芯片,无线通信,智能家居,支持,数据交换，射频前端芯片GC1103是一种低功耗
