平安城市视频监控集中存储技术建议书目录第1章需求分析 (3)1.1平安城市视频监控存储需求分析 (3)1.2存储平台建设目标 (4)第2章方案设计 (6)2.1宏杉科技高性能、高可靠融合解决方案 (6)2.1.1 视频监控系统组网说明 (6)2.1.2 配置清单 ........................................................................................... 错误!未定义书签。
2.2宏杉科技高性能、高可靠存储解决方案优势 (7)2.3方案实现之关键技术——CRAID技术 (11)2.3.1 CRAID基于Cell的重建功能 (12)2.3.2 快速重建 (12)2.3.3 局部重建 (13)2.3.4 优化重建 (14)2.3.5 全盘重建 (15)第3章MS1000产品介绍 (16)3.1产品概述 (16)3.2产品特点 (17)3.3产品规格 (20)第1章需求分析1.1 平安城市视频监控存储需求分析近年来,我国整体经济实力显著增强,但社会治安状况也日趋复杂,公共安全问题不断凸显,城市犯罪突出,手段不断更新、升级。
这些都迫切要求加快发展以主动预防为主的视频监控系统。
开展城市报警与监控系统建设是提升公安机关战斗力的重要着眼点和切入点,也是社会治安防控体系建设的重要组成部分。
随着平安城市建设和科技强警工作的不断深入,厦门市“城市监控与报警系统”将建设成一套以打击、预防违法犯罪为目的,在各级政府所在地、治安复杂场所、重点单位、主要街道和社区、宗教场所、娱乐场所、案件多发地段、重要路口、车站、码头、卡口等地点设立视频监控点,将监控图像实时传输到各级公安机关、社区和其它相关职能部门,通过对图像的浏览、记录等方式,使各级公安机关、社区和其它相关职能部门直观地了解和掌握监控区域的治安动态,有效提高社会治安管理水平的视频监控系统。
建成后的“厦门市城市监控与报警系统”作为治安信息化管理的有效途径之一,其建设的力度、程度、广度将在一定程度上提高全区治安管理的统一指挥、快速反应、协同作战水平。
随着公安行业对监控系统的要求越来越高,后期查询录像的需求日益增多,存储设备作为视频监控系统中的重要组成部分,也越来越受到管理部门的重视。
同时随着视频监控系统的发展日益高清化、联网化、智能化及开放性要求,对存储设备也提出了更高的挑战,主要体现在下述方面:传统模拟摄像机由于最高输出分辨率的限制(D1格式:720*576),已逐渐被高清网络摄像机所取代。
这导致与之配套的传统DVR录像设备也无法在高清化的监控系统中得到应用,采用IP存储+高清网络摄像机已经是大势所趋。
●传统的DVR以及嵌入式小NVR存储绝大多数只支持JBOD模式,可靠性低,数据安全性差,容量受限,读写性能低,不适合大规模部署。
●传统存储系统的RAID机制以磁盘为基本操作单元,RAID5、RAID6、RAID10等技术都存在明显的不足:传统RAID6、RAID10磁盘浪费严重的问题,RAID5存在2块及以上磁盘出现介质错误导致数据丢失的问题。
随着2TB、3TB、4TB等大容量磁盘的普及,一旦出现磁盘故障,重建恢复时间将长达几天甚至几十天,过程非常漫长,且消耗大量系统资源,数据丢失风险非常大。
●联网、规模部署、智能分析业务的普及,使得存储资源的统一管理、全局调配尤为重要,这要求存储系统的架构开放,能够提供第三方管理和二次开发接口。
1.2 存储平台建设目标对于福建省厦门市海沧区平安视频监控系统的存储平台具体要求如下(1)存储容量需求:根据前期调研结果,根据部署点数和保存时长,需要200 TB以上存储容量。
此次采购的设备需要具备高扩展性,能够充分满足未来3-5年的扩展需求;(2)存储性能需求:此次建设规模较大,对存储性能要求较高,此次计划采购的设备需要支持IP SAN模式,支持大缓存扩展,能够充分满足高清码流的处理性能要求;(3)可靠性要求:考虑到行业特征,公安行业对录像资料的可靠性要求很高,此次计划采购的设备需要采用无线缆(Cable Less)、模块化的设计理念,关键部件配置冗余模式,一旦出现损坏可进行在线更换,无需整机更换,无需中断录像,充分满足公安行业对存储设备硬件可靠性的要求;(4)可管理性要求:要求此次采购的全部存储系统,能够在统一的存储管理平台下,实现对所有存储软硬件资源的配置及查询,系统性能的实时监视,系统设备的故障报警监视、故障诊断、及定位分析、报警日志的创建及维护等;(5)开放性需求:要求此次采用的存储设备支持开放的软件架构,能够提供编程接口(API) 和完善的WebService接口,支持特性软件的植入和二次开发,有效满足公安行业的个性化需求。
第2章方案设计2.1 宏杉科技高性能、高可靠解决方案2.1.1 视频监控系统组网说明流媒体视频监控集中存储平台组网示意图如上图所示,全套流媒体视频监控集中存储平台包含以下几个部分:1)流媒体管理平台:内置基本系统和用户权限管理模块,可实现视频监控系统的基本功能以及用户和权限管理功能。
用户可根据应用需要,灵活选择各种视频软件功能模块,实现大容量视频转发、大容量视频存储点播、矩阵和键盘控制、报警信息的接收与处理、虚拟矩阵、帧标记以及业务支撑信息管理功能;2)前端视频采集设备:前端设备以高清/标清摄像机为主,附带镜头、护罩、云台、立杆、防雷、网络等部件;3)传输设备:前端高清摄像机/编码器通过网络系统和监控中心相连,实现各种信息的传递。
根据前端监控点的部署情况,选择不同处理能力、背板带块的网络交换机;4)存储设备:根据前端监控点数的部署和保存时长,选择3套MS1000 存储设备,配置4TB磁盘共计56块。
服务器通过千兆网口连接到存储交换机,再通过该交换机连接后端存储系统,构架SAN存储区域网,完成数据的集中整合。
2.1.2 存储容量计算说明为了更好的保护数据,监控系统采用集中存储的方式,前端的网络摄像机或者是模拟摄像机通过编码器把数据传到后端存储设备,500路标清,2M码流,15天存储,2M码流单路15天存储实际所需裸容量为:(2M/1024/1024/8)×CBR影响系数×60秒×60分钟×24小时×15天≈0.4TB;500路共需:0.4TB×500=200TB;由于单位进制不同,4T企业级硬盘,有效容量3720GB,因此提供200TB的裸容量实际所需硬盘数目为:裸容量*(4/3.72)/4=53块。
由于监控中心的视频图像资源非常重要,因此,每个扩展柜都采用RAID5的冗错机制,需要额外增加一块校验盘,并配置一块热备盘,同时考虑CRAID的特性(空闲cell值可设,默认为5%),实际所需要的硬盘数目为56块,共需控制器和扩展柜数目3台。
综上所述:本方案采用16槽位的扩展柜,因此共需配置3个控制器,3个扩展柜,配置56块4TB硬盘。
2.2 宏杉科技高性能、高可靠存储解决方案优势1)高扩展和低功耗,适合海量、规模部署针对监控应用的高清码流、长时间保存的特点,MS1000采用了专门的设计。
MS1000的单个录像资源最大容量可达128TB,单台MS1000支持多达266块硬盘,能够满足3-30Mbps高清码流、6个月到1年长时间存储的需求。
MS1000支持横向扩展模式,可动态构建海量存储网格,在实现容量、性能、带宽三维线性扩展的同时,还能提供分布式的数据存储统一管理的功能。
MS1000采用节能、绿色的设计理念,其整机系统的功耗远低于业界平均水平,使得电费支出比业界其他厂商产品低20%-50%。
此外,MS1000还支持磁盘休眠功能,能有效降低系统能耗,尤其在大规模应用的情况下,能大幅降低运维成本。
2)专业的监控存储,稳定可靠1、基于Cell的RAID技术(CRAID)CRAID(基于Cell的RAID)技术是宏杉科技在RAID机制上的一项创新技术。
CRAID通过更精细的资源管理单元——Cell来实现对磁盘的精细化管理,不仅能有效提高系统对于磁盘故障的容忍度,减少数据处于临界危险状态的机率,而且能数倍地提升磁盘故障后的恢复效率。
MS1000的CRAID技术能够做到:●容忍多块磁盘故障:在RAID组内,只要同一Cell内的两个数据块不同时出现故障,RAID组允许多块磁盘发生介质损坏,而数据不会丢失。
借助CRAID技术既能解决传统RAID6、RAID10磁盘浪费严重的问题,降低成本,又能解决2块及以上磁盘出现介质错误导致数据丢失的问题,甚至可以作到所有磁盘出现介质错误,系统和数据依然正常,极大增强可靠性。
●数据重建时间减少80%:传统的RAID机制数据重建恢复过程非常漫长,尤其是2TB等大容量硬盘普及后,数据丢失风险大幅升高。
据统计,在正常的监控业务流量下,2TB硬盘故障的重建恢复时间长达5天—30天。
MS1000通过下述几项技术,能够减少80%-95%的数据重建恢复时间,大大提高了存储系统的数据保护能力。
(1)只对已写数据的Cell进行重建,空闲Cell不重建(2)只重建数据发生变化的Cell,不对整个硬盘进行重建(3)只对发生介质错误的Cell进行校验重建恢复,其它Cell通过拷贝的方式重建2、主动式磁盘诊断中心(IDDC)据统计,存储系统的硬件故障90%以上都是由磁盘故障引发的。
在监控应用的多路数据流持续写压力下,磁盘的故障率更高。
但是,业界存储系统却普遍对磁盘安全关注不够,大多采用的是传统的被动防护、事后补救的做法。
MS1000的主动式磁盘诊断中心(IDDC),是一种创新的磁盘诊断机制。
其不仅对磁盘进行故障前的主动检测,还能通过主动预防、增强容错纠错能力、快速修复处理三个层次的监测保护机制,可将磁盘故障导致的系统宕机时间减少80%。
3、模块化硬件设计MS1000硬件系统是针对监控应用专门设计,采用了无线缆(Cable Less)、模块化的设计理念,控制器、电源、风扇、硬盘等部件都可方便地拆卸更换。
其中电源、风扇、磁盘都可配置冗余热备模式,一旦出现损坏可进行在线更换,无需整机更换,无需中断录像。
即使控制器发生故障,也可通过磁盘漫游技术,做到磁盘上的数据和信息不丢失。
4、智能电源管理相对于传统数据中心机房而言,监控系统机房的供电条件要差一些。
MS1000的智能电源管理机制,采用自动断电保护、磁盘顺序加电、来电自启动等功能,大幅提升对恶劣供电环境的适应能力。
●自动断电保护:在电源出现短路时,MS1000会自动切断磁盘供电,保护磁盘免遭过载电流的冲击,保障数据安全。
当出现制冷故障导致温度异常升高等可能导致硬件损坏的情况,系统会自动关机保护。