首页 / 行业
存储与GPU性能皆已成倍增长，IO表现为何迟迟不见好转？
2021-07-09 17:10:00
存储与GPU性能皆已成倍增长，IO表现为何迟迟不见好转？
伴随着HPC、自动驾驶、深度学习和VR/AR需求的不断增加，IO性能也在逐步凸显瓶颈，尤其是GPU与存储之间的读写。处理器速度已经从KHz进化至了GHz，VRAM从KB进化至了GB，IO速度也从KB/s进化至了GB/s，然而GB/s的大幅度改善从直观角度来看依然像是MB/s。
比如在有线连接的VR应用中，图形需要经过电脑进行处理，再经有线传输显示在VR屏幕上，这就引发了高延迟和长读取时间等问题。这不禁让人开始遐想，在CPU、GPU和存储都已经革新换代的情况下，我们是否真正有效地应用了硬件性能？为此微软和英伟达都提出了直接存储的概念来改善IO的现状。
微软：Windows上的DirectStorage
微软在不久前的Windows 11发布会上重点提到了DirectStorage技术，这是一个最初为主机设计的DirectX API，如今微软也将把这一技术带到PC上。
在当前NVMe SSD和PCIe技术的演进下，存储带宽远超旧式的硬盘存储技术，过去10MB每秒的速度已经达到数GB每秒。但PC上的图形工作量也在逐步进化，数据量的增加对于读取提出了更高的要求。过去大量数据的读取只需要少量的IO请求，但如今的图形渲染会将材质等资源分成小块，只有在场景提出要求时载入所需的部分，如此一来虽然提高了效率，却引入了更多IO请求。
当前的GPU资源读取流程 / 微软
而目前的存储API并没有对大量IO请求作出优化，因此拖累了NVMe，使得读写瓶颈愈发明显。即便采用高端的PC硬件，也无法饱和利用存储带宽优势。除此之外，这些数据往往需要经过压缩传输下一个环节，传入内存后，还要CPU进行一部分解压工作，最后再传入GPU显存里，这样一来每个节点都存在效率损失。
而DirectStorage采用了全新的路径，从存储读取的数据传给内存后，直接传给GPU显存。而GPU对于这些数据的解压速度远快于CPU，所以极大地优化了IO性能。
英伟达：RTX IO和Magnum IO GPUDirect Storage
英伟达在RTX 30系列显卡上引入了RTX IO，面向消费市场，提升游戏场景下的读取速度。英伟达称RTX IO将与微软的DirectStorage结合，与传统硬盘下的存储API相比，可将IO性能提高百倍。过去需要数十个CPU内核的工作全部交由RTX GPU来处理。
值得一提的是，英伟达的RTX IO虽然也用到了微软的DirectStorage，但该技术并没有将数据传输到内存，而是直接由SSD转向GPU。微软一名图形开发者在GSL 2021大会上表示，未来DirectStorage的目标也是绕过系统内存。
GDS技术 / 英伟达
除了消费市场外，英伟达在HPC市场也推出了对应的直接存储技术，Magnum IO GPUDirect Storage（GDS）。GDS技术同样是一个绕过CPU的技术，与消费级GPU不同，HPC场景下往往要用到多块GPU，如此一来受IO延迟和CPU的影响更大。GDS在本地存储与GPU显存之间建立直接的数据通道，消除了CPU引入的延迟和读写瓶颈。
GDS与CPU传输至GPU读取性能对比 / 英伟达
在运用GDS后，带宽提升达到1.5倍，与传统CPU回弹缓冲的数据路径相比，CPU利用率也有2.8倍的提升。
目前英伟达已经将这一技术加入到其HGX AI超算中，DDN、VAST和WEKA三家公司已经开始了相关产品的量产，而IBM、美光等五家厂商也在积极引入这一技术。三星、铠侠、西数和戴尔等厂商也开始了GDS的早期集成与认证计划。
小结
直接存储技术进一步放大了GPU厂商与存储厂商的优势，目前HPC市场前景巨大，英伟达在相关业务上的盈利已经让其看到了商机。不仅是GPU，英伟达采用Arm架构的Grace CPU同样引入了NVLink这样的数据传输改善方案。在这样的性能改善下，即便存储方案不同，英伟达的GPU也很可能成为HPC应用的首选。
伴随着HPC、自动驾驶、深度学习和VR/AR需求的不断增加，IO性能也在逐步凸显瓶颈，尤其是GPU与存储之间的读写。处理器速度已经从KHz进化至了GHz，VRAM从KB进化至了GB，IO速度也从KB/s进化至了GB/s，然而GB/s的大幅度改善从直观角度来看依然像是MB/s。
比如在有线连接的VR应用中，图形需要经过电脑进行处理，再经有线传输显示在VR屏幕上，这就引发了高延迟和长读取时间等问题。这不禁让人开始遐想，在CPU、GPU和存储都已经革新换代的情况下，我们是否真正有效地应用了硬件性能？为此微软和英伟达都提出了直接存储的概念来改善IO的现状。
微软：Windows上的DirectStorage
微软在不久前的Windows 11发布会上重点提到了DirectStorage技术，这是一个最初为主机设计的DirectX API，如今微软也将把这一技术带到PC上。
在当前NVMe SSD和PCIe技术的演进下，存储带宽远超旧式的硬盘存储技术，过去10MB每秒的速度已经达到数GB每秒。但PC上的图形工作量也在逐步进化，数据量的增加对于读取提出了更高的要求。过去大量数据的读取只需要少量的IO请求，但如今的图形渲染会将材质等资源分成小块，只有在场景提出要求时载入所需的部分，如此一来虽然提高了效率，却引入了更多IO请求。
当前的GPU资源读取流程 / 微软
而目前的存储API并没有对大量IO请求作出优化，因此拖累了NVMe，使得读写瓶颈愈发明显。即便采用高端的PC硬件，也无法饱和利用存储带宽优势。除此之外，这些数据往往需要经过压缩传输下一个环节，传入内存后，还要CPU进行一部分解压工作，最后再传入GPU显存里，这样一来每个节点都存在效率损失。
而DirectStorage采用了全新的路径，从存储读取的数据传给内存后，直接传给GPU显存。而GPU对于这些数据的解压速度远快于CPU，所以极大地优化了IO性能。
英伟达：RTX IO和Magnum IO GPUDirect Storage
英伟达在RTX 30系列显卡上引入了RTX IO，面向消费市场，提升游戏场景下的读取速度。英伟达称RTX IO将与微软的DirectStorage结合，与传统硬盘下的存储API相比，可将IO性能提高百倍。过去需要数十个CPU内核的工作全部交由RTX GPU来处理。
值得一提的是，英伟达的RTX IO虽然也用到了微软的DirectStorage，但该技术并没有将数据传输到内存，而是直接由SSD转向GPU。微软一名图形开发者在GSL 2021大会上表示，未来DirectStorage的目标也是绕过系统内存。
GDS技术 / 英伟达
除了消费市场外，英伟达在HPC市场也推出了对应的直接存储技术，Magnum IO GPUDirect Storage（GDS）。GDS技术同样是一个绕过CPU的技术，与消费级GPU不同，HPC场景下往往要用到多块GPU，如此一来受IO延迟和CPU的影响更大。GDS在本地存储与GPU显存之间建立直接的数据通道，消除了CPU引入的延迟和读写瓶颈。
GDS与CPU传输至GPU读取性能对比 / 英伟达
在运用GDS后，带宽提升达到1.5倍，与传统CPU回弹缓冲的数据路径相比，CPU利用率也有2.8倍的提升。
目前英伟达已经将这一技术加入到其HGX AI超算中，DDN、VAST和WEKA三家公司已经开始了相关产品的量产，而IBM、美光等五家厂商也在积极引入这一技术。三星、铠侠、西数和戴尔等厂商也开始了GDS的早期集成与认证计划。
小结
直接存储技术进一步放大了GPU厂商与存储厂商的优势，目前HPC市场前景巨大，英伟达在相关业务上的盈利已经让其看到了商机。不仅是GPU，英伟达采用Arm架构的Grace CPU同样引入了NVLink这样的数据传输改善方案。在这样的性能改善下，即便存储方案不同，英伟达的GPU也很可能成为HPC应用的首选。
最新内容
| 手机 |
相关内容
射频连接器使用技巧与注意事项
射频连接器使用技巧与注意事项，连接器,选择,频率,类型,连接,传输，射频连接器是一种用于连接射频电路的电子元件，常用于无线通信系统
电流互感器作用 电流互感器为什么
电流互感器作用 电流互感器为什么一端要接地？，作用,误差,原因,连接,测量,短路故障，电流互感器（Current Transformer，简称CT）是一种用于
光耦仿真器简介和优势
光耦仿真器简介和优势，仿真器,参数,接收器,设计方案,耦合,器件，光耦仿真器是一种用于模拟光耦合器件的工具，它可以帮助工程师在设计
低耗能，小安派-LRW-TH1传感器通用板
低耗能，小安派-LRW-TH1传感器通用板，一块板即可连接多种传感器！，传感器,多种,连接,一块,通用,接口，小安派-LRW-TH1传感器通用板是一款
芯片迈向系统化时代：EDA软件的创新
芯片迈向系统化时代：EDA软件的创新之路，时代,芯片,形式,支持,性能,验证，芯片设计是现代科技领域的重要组成部分，它涉及到电子设计自动
人形机器人风起，连接器待势乘时
人形机器人风起，连接器待势乘时，连接器,人形机器人,工作效率,性强,研发,光纤，近年来，人形机器人在人工智能领域取得了巨大的进展。随
清华大学研发光电融合芯片，算力超商
清华大学研发光电融合芯片，算力超商用芯片三千余倍，芯片,研发,商用,测试,计算,科学研究，近日，清华大学发布了一项重要科研成果，他们成
聊聊芯片中的负压产生机理及其应用
聊聊芯片中的负压产生机理及其应用，芯片,细胞,用于,测量,生物,结构，芯片中的负压是指在芯片内部产生的负压环境。在某些应用中，负压
