首页 / 行业
华为云存储的微秒级数据处理
2019-07-08 16:07:00
微秒这个名词,相信大多数人都没有什么概念。长久以来,受限于网络和存储的因素,微秒级时延或者响应时间在实际应用中是可望不可及。但是,伴随着5G等新兴技术的发展,越来越多的智能化应用都开始涌现出来——比如今年3月,中国人民解放军总医院的医生就在远隔3000公里外操作手术器械,完成全国首例基于5G的远程帕金森病“脑起搏器”植入手术。
这项成就得益于5G网络高速率、大带宽、低时延特性。既然网络已经能够提供微秒级的应用,那么对于存储介质来说也必须迎合这种发展趋势,才能够最大限度地发挥系统效能。于是,才有了刚刚我们介绍的华为云存储All-Flash战略,它的出现将传统意义上的“慢车”——存储和网络大大提速,并与计算一起,构成了数据处理迈向智能时代的“三驾马车”。
“从毫秒进入微秒时代,数据中心客户主要面临两大时延瓶颈:一方面是传统软硬件协同,特别是网络传输的时延瓶颈;另一方面则是传统HDD介质的物理能力瓶颈。”华为云CTO张宇昕介绍道。“在我们印象中,网络时延一直是数据处理能力的“硬伤”,这期间哪怕是瞬间的等待也会带来糟糕的体验。另一方面,HDD存储介质的发展的确遇到了越来越多的问题。如今伴随着16TB容量硬盘的出现,HDD的响应时间依然是大众吐槽的重点。”
面对大量客户的需求与痛点,华为云也从多个层面着手解决。针对系统层级的时延,华为云通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延降到了极低。所以整个数据处理IO从进来到出去,能实现50μs -100μs的稳定时延。而关于存储介质时延问题,华为云采用Flash替代掉了HDD,将介质时延从原本四毫秒左右缩短到几十微秒的级别。
当然这并不是简单的替换就可以的。俗话说好马配好鞍,有了高速Flash介质,还需要对软件进行优化才能让介质性能得到最大限度的发挥。同时,尽可能的降低时延,达到与网络时延的一致性,需要彻底解决硬件层面的瓶颈问题。
“传统硬盘是物理盘片,在提供算法的时候需要考虑到大圈小圈的问题,所以之前的算法都是对于物理磁头的读写性能进行优化,随机读写方面的性能就明显低得多。”张宇昕说,“更换为Flash介质之后就完全不存在这种问题,随机读写的性能表现非常不错。但是对于Flash来说,我们需要保证不在某一个位置持续、频繁地读写,所以在算法上也要进行调整。”而对于这一点,华为云的工程师们进行了大量、复杂的算法优化工作,在提升性能、降低时延的同时,也保证了Flash介质的寿命和应用可靠性。
我们正处于数据爆炸的时代,在迈向智能化的道路上,数据成为了我们赖以生存的“食粮”,而掌握了数据应用,就能掌握未来的智能时代。据华为全球产业展望(GIV)报告预计,2025年的全球年数据增量将提升至180ZB,但是,目前企业数据利用率却只有10%,数据价值没有得到充分释放。而如果想让数据发挥价值,则需要从多个方面采取措施,为此华为本次也带来了全新的“数据底座”概念。
华为云指出,制约云计算为智能时代更好地服务的瓶颈就在“最后一公里”。在云端,“最后一公里”就是数据通过服务端软件、网络、存储服务器,最终抵达介质的这一过程。
最新内容
手机 |
相关内容
如何测量温度传感器的好坏?
如何测量温度传感器的好坏?,温度传感器,测量,精度,效应,性度,评估,FDS6679AZ温度传感器是一种用于测量环境温度的设备,它能够将温度转创建更低延迟和更高效率的 5G 系统
创建更低延迟和更高效率的 5G 系统,延迟,系统,5G,优化,方法,网络架构,随着技术的不断发展,人们对通信系统的需求也在不断增加。5G技忆阻器存算一体芯片新突破!有望促进
忆阻器存算一体芯片新突破!有望促进人工智能、自动驾驶等领域发展,芯片,自动驾驶,人工智能,模拟,神经网络,计算,忆阻器存算一体芯片曦智科技提出片上光网络技术 提升
曦智科技提出片上光网络技术 提升单芯片性能,性能,芯片,提升,网络技术,系统,传输,曦智科技(Xizhi Technology)最近提出了一项创新的片高通第三代骁龙8性能全面升级 虹软
高通第三代骁龙8性能全面升级 虹软携手高通共创AI影像新高度,影像,性能,升级,网络,处理器,能力,高通第三代骁龙8系列处理器是一款全芯片电源电流测试方法是什么?有什么
芯片电源电流测试方法是什么?有什么测试条件?,测试,有什么,测试方法,条件,芯片,设置,芯片电源电流测试是对芯片在不同工作状态下的电远程实时监控管理:5G物联网技术助力
远程实时监控管理:5G物联网技术助力配电站管理,电站,物联网技术,实时监控,5G,故障排查,网络,随着科技的不断进步和发展,物联网TPS6108数字隔离器:系统和人身安全的隐形守
数字隔离器:系统和人身安全的隐形守护者,隐形,系统,数字,身份认证,恶意软件,网络连接,74HCT00D数字隔离器是一种系统和人身安全的隐