首页 / 行业
如何用神经网络模型处理SSD稳态控制问题
2022-06-08 15:41:00

在企业级或数据中心的存储应用中,对固态闪存盘的特性有着比桌面应用更加严苛的多项要求。其中IO延迟稳定性和QoS(服务质量)是其中最重要的指标,其含义表征着SSD在各种场景轻重压力下能否提供稳定的IO性能指标,将IO的抖动和延迟控制在尽量小的范围内,而提升上层应用的响应。
近年神经网络在各行各业有很多有趣的实际应用,其在模式识别、智能机器人、自动控制、预测估计、医学和经济等领域已成功解决了许多现代计算机难以解决的实际问题,表现出很好的智能特性。忆芯科技的技术团队经过大胆创新实践,在固态企业级算法领域,将神经网络应用到SSD QoS算法调优中,获得了相较于比传统算法的大幅提升。为企业级SSD IO延迟稳定性和 QoS设计开辟了全新的思路和方向。
稳态性能是指什么?
关于SSD的性能测试有很多项,文章下面跟大家分享下PTS测试中的Write Saturation(WSAT)写饱和测试的优化内容。PTS是固态存储的性能测试规范,可参见《Solid State Storage Performance Test Specification 》
在PTS中,将SSD的性能状态分为了3个阶段:
a) 出厂阶段(Fresh Out of the Box, FOB)
出厂状态,一般称为空盘状态。SSD 的NAND区域没有进行数据写入, 安全擦除命令可以将设备恢复出厂状态,该阶段的写性能可以达到峰值性能,SSD后台任务不会启动。
b) 转换阶段(Transition)
随着非重复数据的不断写入,SSD的可写空间变小,当降低到一定阈值时就会触发SSD的垃圾回收(GC)任务释放空闲空间。该阶段性能下降较多,波动也较大,下降的幅度,取决于GC回收空闲空间的负载。
c) 稳定阶段(Steady State)
当GC回收的负载和主机写入负载趋于平衡时,SSD 的性能会逐渐平稳下来,并长期维持在这个状态,称为稳态。稳态性能对于企业SSD应用有很大的实际意义。
稳态性能的指标评估
稳态的性能不仅仅是IO处理的速度有多快,还要看处理IO是否平稳。衡量平稳的方式,一般有两种:
a) 一致性=最小的IOPS/平均的IOPS
b) 一致性=超出平均IOPS的±5%的采样次数/总的采样次数
前者着重于表现单点向下跌落的程度,后者着重于表现上下振动的幅度。
传统的Qos控制算法
传统的控制算法(如自适应控制算法)的优势在于处理该问题时,表现出在不同硬件(如NAND,DDR)配置下都有较好的性能控制能力。
但是,其难点是在转换阶段时容易出现扰动,并传递到稳定阶段,影响IO的一致性。而且不同硬件配置下扰动的程度可能不同,所以还需要开发人员分别精心地调校。
下面我们来看下如何用神经网络模型处理SSD的稳态控制问题,以及效果怎样。
构建和准备数据
主机先要对SSD的性能参数调节模块配置一组参数,然后在特定训练的IO场景中对SSD发送IO命令,同时主机实时地采集SSD内部的性能监测模块上报的各项工作数据。
抽样的数据有很多,且时间段也较长,要能实际表示出实际情形,需要在后面的整个流程中,不断反复且持续的进行工作并修正需要训练的数据集。
构建和训练模型
a) 建立神经网络模型
为了方便理解,可将模型简化为一个三输入二输出的模型。输入输出的参数如下:
输入参数host_w_iops:采样主机写通路的IOPS
输入参数host_r_iops:采样主机读通路的IOPS
输入参数vtc:SSD内部启动GC(垃圾回收)任务时,最小单位数据的有效数量
输出参数host_w_limit:主机写通路的流量限制参数
输出参数gc_limit:GC通路的流量限制参数
注:流量限制是指单位时间(如100ms)内可以处理单元数据(一般是4K)的数量。
通过软件定时器实现的单位时间精度一般是在ms毫秒级,忆芯科技的新一代主控芯片STAR2000在硬件上实现了流量管理功能,时间精度可以达到ns纳秒级,精度相对提高了100万倍。
b) 训练模型
i. 分析收集到的数据集,配置给模型一组期望的目标值。
ii. 用收集到的数据集训练神经网络,并评估训练结果,若目标偏差较大,需要反复迭代训练该过程。
iii. 训练完成后,将相关参数集部署到SSD中,并执行训练场景的IO测试。
iv. 若实际结果与目标偏差较大,则反馈到前端进行调整。
v. 最后训练完成后,就可以进入评估阶段,验证下实际的效果。
评估模型
a) 转换阶段:
从下图中看到转换过程中没有超调的情况,在退出转换阶段时无明显的扰动。
b) 稳定阶段:
从下图中可看到,使用神经网络模型的方式,在振动的幅度上有一定的改善。单点向下抖动的程度也有一定改善,具体的一致性数值则从之前的91%提升至97%。
总结
较传统企业级QoS优化手段,利用神经网络模型可轻松实现应对各种复杂场景,并能实现更加精确的自适应参数调优,取得更高的IO稳定性。
然而,在嵌入式里执行神经网络计算会带来一定的计算开销,新一代主控芯片STAR2000则专门集成了硬件神经网络处理单元,结合8TOPS的算力,可以轻松应对新的业务挑战。
神经网络控制作为智能控制的一个新的分支,由神经网络与控制理论相结合而发展起来,可以为解决复杂的非线性,不确定的控制问题提供一种新的途径。
审核编辑:彭静最新内容
手机 |
相关内容
电流互感器作用 电流互感器为什么
电流互感器作用 电流互感器为什么一端要接地?,作用,误差,原因,连接,测量,短路故障,电流互感器(Current Transformer,简称CT)是一种用于应用在阀门控制中的直流有刷驱动芯
应用在阀门控制中的直流有刷驱动芯片,芯片,控制,支持,远程控制,电动,调节,直流有刷驱动芯片是一种用于控制直流电机的IPB072N15N3G平头哥首颗SSD主控芯片镇岳510问世
平头哥首颗SSD主控芯片镇岳510问世,将率先在阿里云数据中心部署,数据中心,芯片,平头,需求,可靠性,稳定性,近日,平头哥首颗SSD主控芯片振弦传感器智能化:电子标签模块
振弦传感器智能化:电子标签模块,模块,传感器,操作,连接,安装,控制,mbrs360t3g振弦传感器是一种常用的测量设备,用于检测物体的振动。智能家居中的MEMS传感器
智能家居中的MEMS传感器,传感器,智能家居,控制,用户,温度传感器,系统,MEMS(微机电系统)传感器是智能家居中的关键技术之一。它们是一英伟达系列芯片设计的高阶自动驾驶
英伟达系列芯片设计的高阶自动驾驶系统启动时序流程,启动,自动驾驶系统,芯片,英伟达,控制,车辆,英伟达(NVIDIA)是一家全球领先的人工MPS全系列电机驱动产品,助力新能源
MPS全系列电机驱动产品,助力新能源汽车实现更好的智能化,产品,新能源汽车,助力,全系列,系统,实时,随着新能源汽车的快速发展,电机驱动氮化镓(GaN)功率器件技术解析
氮化镓(GaN)功率器件技术解析,技术解析,器件,能力,传输,用于,高频,氮化镓(GaN)功率器件是一种新兴的EPF6016AQC208-3半导体功率器件技