视频结构化大数据平台解决方案千视通目录1. 建设背景 (4)2. 建设目标 (5)3. 建设原则 (6)3.1. 标准化原则 (6)3.2. 统一设计原则 (6)3.3. 大数据处理原则 (6)3.4. 高可靠/高安全性原则 (6)3.5. 适用性原则 (7)3.6. 可扩展性原则 (7)4. 系统总体设计 (7)4.1. 设计依据 (7)4.2. 总体架构设计 (10)4.3. 业务架构设计 (11)4.4. 网络架构设计 (12)5. 数据结构化 (13)5.1. 概述 (13)5.2. 数据采集 (14)5.3. 控制调度单元 (15)5.4. 目标结构化单元 (15)5.5. 车辆结构化单元 (21)5.6. 前端要求 (26)6. 数据存储 (29)6.1. 概述 (29)6.2. 功能设计 (29)6.2.1. 数据存储 (29)6.2.2. 数据服务 (30)6.2.3. 系统管理 (31)6.3. 存储设计 (32)7. 数据应用 (32)7.1 以图搜车 (33)7.2人物大数据 (34)7.2.1人物综合查询 (34)7.2.2人物检索 (34)7.2.3人骑车检索 (36)7.2.4视频框选嫌疑目标 (37)7.3以图搜图 (38)7.3.1智能建库引擎 (38)7.3.2以图搜图应用 (38)7.4GIS应用 (39)7.4.1基本操作 (39)7.4.2地图查询 (39)7.4.3轨迹展示 (40)7.4.4摄像头操作...............................................................................错误!未定义书签。
7.4.5系统管理 (41)8. 平台特点 (44)8.1. 提高海量视频倒查的效能 (44)8.2. 提供视频关键特征的视频检索 (45)8.3. 永久保存结构化的视频信息 (45)8.4. 基于虚拟化服务的云计算架构 (46)9. 配置清单.......................................................................................................错误!未定义书签。
1.建设背景平安城市视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段。
面对视频资源整合规模的持续扩大、视频实战业务的广泛应用以及视频信息化处理过程中产生的海量视频数据，如何充分利用海量的视频数据，实现海量视频数据的高效检索以及基于实战需求构建警务视频大数据应用平台，成为视频深度应用亟待解决的问题。
建设统一开放的视频云计算平台，并在视频云计算架构基础上，实现视频信息化、信息情报化、情报实战化是视频大数据实战应用的关键。
随着公安信息化建设进程的不断加快，全国各地都在掀起“平安城市”、“智慧城市”和“科技强警”等一系列大型安防系统建设。
全国各地随着“平安城市”的推动，建设了越来越多的视频监控摄像头。
但是如何将这些视频资源整合好、利用好、管理好、应用好，发挥视频实战的最大效用，是视频实战应用下一步发展面临的问题。
全球在2010年已正式进入ZB时代，全球数据量大约每两年翻一番，一天产生的视频监控数据超过1500PB。
地市“天网”摄像头都数以万计。
由于数据的飞速增加不仅出现了视频图像信息海量储存、检索困难，历史图像查找比对困难，多级视频图像信息共享平台无法实现互联互通，传输网络架构和带宽不足等问题；也使以往公安人工检索，人工分析视频的方法不再适用。
➢如何存储海量视频信息？➢如何提升海量视频信息查找效率？➢如何利用海量视频信息为案件侦破提供支撑？千视通视频结构化应用平台对海量视频数据中（人物、车、人脸）经过结构化引擎处理,基于云存储技术构建大数据平台，基于数据挖掘技术构建应用平台，实现视频图片的智能检索、车辆大数据应用、人物大数据应用，人脸大数据应用等。
2.建设目标系统主要解决如何快速有效提高从大量视频和图像信息中查找到有效信息的效率问题，解决海量视频数据的不断增大带来的存储成本的增加问题以及目前的视频数据使用方案越来越难解决的海量视频应用场景。
其次利用目前已建设的公安视频及社会面视频，打造视频大数据中心，为侦查破案提供数据分析支撑。
系统建成后，公安所有的监控视频、交通卡口、社会监控数据以及案事件的视频资料等归档数据将成为一个结构化的处理，存储，管理，分析，计算，使用的一体化大数据云中心。
3.建设原则3.1.标准化原则基于数据标准建设结构和非结构化云存储技术中心，能够有效确保数据模型设计的规范性，以及与源系统及管理分析类系统保持一致的业务定义和技术定义，从而满足支持业务开展、横向的信息扩展和宏观管理的要求，使结构化后的视频、图片和分析结果等成为公安各业务系统的可信数据源。
3.2.统一设计原则按照公安部视频数据的相关标准设计系统结构。
特别是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容，从规划的全局出发、从长远的角度考虑。
3.3.大数据处理原则致力于跨警种、跨系统的视频相关数据结构化处理，致力于非结构数据加工和数据挖掘等深层次的数据应用，建立在云存储和云计算的体系之上，具有海量数据处理能力，以适应不断增长的数据量和业务需求。
3.4.高可靠/高安全性原则从系统从结构上、产品性能上、设备的选型上，以及具体的实施方案，将充分考虑软硬件的成熟度，使得系统的稳定性和可靠性得到保障，同时系统具备完备的网管单元，实时监测系统运行状态，灵活对整个计算资源进行有效调度和分配，平时保障85%的计算资源利用率，预留15%的计算资源，一方面使得机器不在峰值上一直运行，同时在突发临时事件时，预留的15%的计算资源可以备用，确保系统正常、稳定、可靠、连续地运行。
系统的设计充分考虑系统的安全。
在系统设计、设备选型、调试、安装等环节都需严格执行国家、行业的有关标准及公安部门有关安全技术防范的要求。
3.5.适用性原则系统的建设将保护已有资源，急用先行，在满足应用需求的前提下，尽量降低建设成本。
3.6.可扩展性原则系统设计不但保证目前系统容量的要求，也将考虑今后系统的发展，便于向更新技术的升级与衔接。
系统提供标准的SDK控件及数据接口服务，以实现与其它子系统之间的数据交换，保证系统的不断扩展。
4.系统总体设计4.1.设计依据本系统主要设计依据遵循以下标准和规范：项目政策文件：●《公安部关于进一步加强社会治安防控体系建设的指导意见》●公安部《关于深入开展城市报警与监控系统应用工作的意见》●公安部《全国公安机关视频图像信息整合与共享工作任务书》●公通字201119号《全国公安装备建设“十二五”规划》●公科信201211号《全国公安机关视频图像信息整合与共享工作任务书》●公科信【2012】73号《全国公安机关图像信息联网总体设计方案》●公科信传发【2012】367号《省（区、市）公安机关视频图像信息整合与共享技术方案编写指南》公安信息系统类标准●公安部《金盾工程总体方案设计》●公安部《公安信息系统应用支撑平台总体方案设计》●公安部《公安信息化标准体系》●公安部《地市级综合信息系统总体设计方案》●公安部《共享数据项代码标准》●公安部《共享数据项集项目规范》●公安部《刑事犯罪信息管理代码》GA 240.（1－21）-2000 ●公安部《刑事犯罪信息管理代码》GA 240.（22－57）-2003 ●公安部《经济犯罪案件信息管理系统技术规范》GA397.X-2002●公安部《道路交通违章管理信息代码》GA 408.X-2003●公安部《全国道路交通管理数据交换格式》GA 409.X-2003 ●公安部《违法犯罪信息管理》GA 8-1991●公安部《信息系统安全等级保护基本要求》GB/T22239-2008 ●公安部《信息系统等级保护安全设计技术要求》GB/T24856-2009●公安部《城市监控报警联网系统技术标准》GA/T669-2008 计算机信息系统类标准●《计算机软件开发规范》●《操作系统安全技术要求》GB/T 20272-2006●《数据库管理系统通用安全技术要求》GB/T 20273-2006视频系统类标准●《城市监控报警联网系统技术标准》（GA/T669-2008）●《安全防范视频监控联网系统信息传输、交换、控制技术要求》GBT 28181-2011●《民用闭路监视电视系统工程技术规范》(GB50198-94)●《视频安防监控系统技术要求》（GA/T367-2001）信息安全类标准●《信息系统等级保护安全设计技术要求》GB/T24856-2009 ●《信息系统安全等级保护基本要求》GB/T22239-2008●《计算机信息系统安全保护等级划分准则》GB17859-1999●《信息系统安全等级保护定级指南》GB/T 22240-2008●《信息系统安全管理要求》GB/T20269-20064.2.总体架构设计方案总体架构设计为“一个中心，一个平台，多个业务应用平台”。
一个中心：➢利用云计算、云存储技术，建设视频大数据中心；一个平台：➢实现视频，图片数据结构化；多个业务应用：➢在大数据中心上，实现视频图片的智能检索；➢在大数据中心上，实现视频图片的车辆分析；➢在大数据中心上，实现视频图片的人物分析；4.3.业务架构设计架构说明:系统采用分布式系统构架，主要由大数据接入、大数据处理存储、大数据应用平台组成。
大数据接入负责接入在线各种社会视频资源和公安各视频资源。
或者直接导入离线视频资源。
大数据处理对收集到的数据经进行转换、分析处理。
视频、图片等非结构化数据经过各种算法生成标准数据集供挖掘和分析使用。
存储中心主要用来管理大数据接入、大数据处理生成的各种非结构化数据和处理后的结构化数据集，同时负责维护系统建立的各种专题库。
大数据存储中心是建立在成熟的云存储体系之上的，具备存储的复杂均衡，软硬件的动态扩展和删除以及数据的自动备份和恢复功能。
同时，系统提供SDK库供第三方集成，实现视频数据在业务应用的深度可视化。
大数据应用提供客户端功能的可视化展示，如数据的检索访问、车牌信息分析、目标类型分析、人脸分析、GIS应用等应用服务。
4.4.网络架构设计系统采用统一云存储设计，部署大数据平台Hadoop集群设备，通过网络实时将结构化分析平台处理后的特征信息上传。
各业务部门通过客户端即可实现大数据的综合业务应用。
系统可单独部署，也可以级联部署。
级联部署时，中心管理平台可以对子节点进行任务管理、调度、状态查看。
可指定子节点信息上传的位置、信息上传的类型。
中心管理服务器收到信息后，可对消息进行二次过滤后再入库。
视频结构化平台级联示意图5.数据结构化5.1.概述大数据视频结构化分析系统控制调度、目标结构化单元、车辆结构化单元于一体，实现高清实时监控视频、高清录像以及图片资源的结构化处理。