• 1
  • 2
  • 3
  • 4

首页 / 行业

华为分布式云存储将开启监控大数据时代

2019-07-05 16:36:00

随着大数据时代的到来,传统IPSAN存储由于其系统架构的局限性,在性能和扩展性等方面已经不能满足视频共享和分析业务对存储系统能力的要求,如性能不能随容量线性增长、扩展困难、空间难以充分共享、数据重构时间长导致二次故障频发等等。

而华为云存储VCN3000采用分布式架构技术,可以灵活的进行扩展,且性能随容量线性增加,能够更好地匹配视频共享和智能分析业务。具体体现在如下几个方面:视频联网平台实现对重要案件视频数据进行高效的共享访问和并发分析,不仅要求存储及时响应多用户的实时操作,完成大量录像同时采集和调阅,更必需具备"可持续"的在线性能线性增长的能力。

华为分布式云存储将开启监控大数据时代

传统IPSAN存储方案,一个业务只能在一个控制器上工作,实现不了并发读写,极易造成系统整体负载不均;同时设备容量提升到一定规格后,性能会遭遇瓶颈,不能再随容量同步提升。类似于传统的火车,火车头相当于控制器,车厢相当于硬盘框,动力全由火车头提供,运力相当有限,而且当车厢扩展过多,速度将无法提升甚至出现下降。

华为分布式云存储VCN3000采用分布式架构+计算存储节点的方式,允许所有存储节点并行访问整个系统中的任何文件,且可以实现并发读写,相当于多个人干一个活,读写效率远远优于传统IPSAN存储;当设备容量增加时,性能可随容量线性增长,性能无瓶颈。类似于新一代动车组,每个具有独立动力的车厢相当于一个节点,可按需动态增加、运力可随动车车厢的增加线性扩展,效率是传统方式的几倍。

同时VCN3000视频云节点的高效I/O读写性能,能为图像大数据分析平台提供稳定可靠的视频流数据,有力保障了智能分析功能的实时高效。

在数字高清时代,视频监控单文件的容量越来越大,每个文件能够到达GB级的规模,视频联网平台存放各省厅上传的视频文件,在项目后期,视频文件的总容量甚至能够到达PB级别的容量,这个时候,项目本身所使用的存储将面临容量扩展的问题。

在安防领域,单台IPSAN设备最高也就能扩展1-2个PB左右的容量,而华为分布式云存储VCN3000随着节点数的增多,最高可扩展至20PB的容量,能够降低整个项目的总体采购投入和管理维护成本。另外传统IPSAN存储在扩容时需要给上层业务服务器重新分配空间,严重影响上层视频共享业务的连续性。而华为分布式云存储能够自动识别扩容节点,实现秒级部署,不会影响业务。

华为分布式云存储将开启监控大数据时代

由于视频联网平台存放的都是重要的视频监控文件,如果丢失,可能会对案件产生严重的影响,所以本次项目建设所采用存储必须具备超高的可靠性,且不能因为硬盘或者硬件本身的问题影响整个业务系统的使用。

传统IPSAN存储多采用RAID5方式,N+1(校验盘)+1(热备盘)方式保障可靠性,这种方式的弊端在于Raid5模式下如果坏掉两块及以上硬盘的时候数据将丢失。当有一块硬盘故障需要恢复数据时,在传统模式下1TB数据恢复时间一般都超过10个小时,且硬盘故障后需要立即人工使用备盘更换,维护工作量大,对视频业务连续性和稳定性非常不利。

华为分布式云存储VCN3000采用先进的节点间RAID技术,比传统RAID算法更高可靠、更灵活,在多块硬盘甚至节点出现故障的情况下仍然能够保证视频监控文件的读取和写入,对视频业务的连续性不会造成影响。在数据恢复方面,分布式云存储采用全局热备空间,只重构已经写入的数据,并且是多节点并行处理数据恢复,1TB数据恢复仅需1小时。

华为分布式云存储VCN3000可以实现多达5块硬盘故障或节点故障后,显示界面仍然可以正常播放视频图像,业务未中断。

按视频联网平台规划,需要管理的前端规模已是数十万路的规模,随着高清摄像头的逐步普及,数据量倍增,作为重要案件数据的核心平台系统,数据完整性和可靠性极为关键。目前,安防业界普遍采用传统RAID5技术保护数据,这意味着2块硬盘故障,整个硬盘组的数据都会丢失,如一般的11盘4TB的RAID5组,一旦损坏即100%丢失约近800小时高清摄像头的数据。另外,单硬盘容量已提升2-3倍,坏盘导致数据丢失量"大得惊人"。

华为拥有数据完整性技术的专利,针对安防视频流数据特点,在云存储中实现"只要有好盘,数据即可读出",同样如11盘+云存储最低冗余为例,2个盘故障,数据仅会损失(非丢失)10%,即监控画面局部出现马赛克而已。结合云存储上述其它高可靠机制,关键数据"0"丢失。

大数据时代云存储大数据能力

  • 1
  • 2
  • 3
  • 4

最新内容

手机

相关内容

  • 1
  • 2
  • 3

猜你喜欢