当前位置:
文档之家› 基于大数据技术的公安综合研判应用平台设计_王欣
基于大数据技术的公安综合研判应用平台设计_王欣
[4] Tom Wbite. Hadoop权威指南[M]. 清华大学出版社, 2015.
Police Technology 2015年 第3期 13
12
2015年 第3期
公安大数据的机遇与挑战
(四)公安综合研判应用平台应用层包括通用应用和 专题应用
通用应用是指利用大数据资源和服务提供统一的统计 服务、查询服务、比对碰撞服务和搜索服务。通用应用是平 台提供的典型应用支持综合研判业务的开展,同时利用开放 的Web服务接口、API接口为其他业务系统提供对应的业务 应用。专题应用根据公安实战的业务需求设计典型应用,为 一线民警提供大数据时代“打、防、管、控”的利器。
三、公安综合研判应用平台框架设计
公安综合研判应用平台是以分布式数据采集、集中式 数据管理、综合大数据分析服务为特征,为公安业务应用 提供大数据分析及应用服务的信息化支撑系统。平台总体 架构设计如图1所示:
公安综合研判应用平台建设分为存储层、支撑层、服 务层、应用层。
(一)公安综合研判应用平台存储层包括海量、多 源、异构数据的存储和整合
(二)公安综合研判应用平台支撑层包括数据计算、 分析、挖掘、预测
在数据处理方面,为满足不同的数据规模、组织方式 和 应 用 需 求 , 采 用 Hadoop批 处 理 框 架 、 S t orm流处 理 框 架、Spark增量处理框架和传统数据处理框架相结合的数 据处理方式,分别应对批量计算、流式计算和实时计算的 需求;采用数据挖掘的方法,对警用关注的人、车、案等 信息进行深度信息挖掘和横向关系挖掘;融合机器学习、 数据挖掘等算法进一步进行决策分析和预测。
同样,当发生案件时,用户可以根据案件相关车辆初 步分析,然后进入大数据分析系统进行由案到车的研判分 析流程。
(二)分析模型 人车案关联分析的主要业务模型包括人车模型。
五、结束语
本文基于当前公安信息化发展对大数据的迫切需求, 设计了以分布式数据采集、集中式数据管理、综合大数据 分析服务为特征的公安综合研判应用平台,分析了面向实 战的大数据分析服务和应用服务。随着公安大数据不断积 累数据,扩展应用,公安综合研判应用平台最终将实现事 前预测、预防、管控,事中处置、指挥、调度,事后发现 的全方位闭环信息整合分析和应用服务,为实现由粗放向 精细、由被动向主动、由静态向动态、由单一向互动的警 务模式转变,为实现有效防控、准确预测的警务工作目标 提供服务和应用支撑。
Police Technology 2015年 第3期 11
型的运行,向下为基础设施的组织管理按需分配提供监督 管理。
(二)大数据的采集与存储 数据的采集包括结构化数据采集与非结构化数据采 集。通过金盾工程一期二期的建设公安行业除了积累了海 量的结构化数据,还积累了大量的视频监控以及案件文档 等非结构化数据。公安综合研判应用平台需要把结构化数 据和非结构化数据进行统一的采集和警务资源整合,实现 人员信息、车辆信息、案件信息的贯通融合。 数据存储基于公安业务应用的特点建立数据模型,在 大数据环境下根据不同的数据和业务特点将数据存储在分 布式文件系统、关系数据库和非关系数据库中实现海量数 据的高并发快速查询检索。 (三)大数据的分析和挖掘 为了实现公安综合研判应用平台的快速分析计算功 能,分别采用storm在线分析、spark近线分析、hadoop离 线分析等并行计算框架满足不同需求的计算需要。使用 Mahout、R语言等并行数据分析挖掘框架进行综合业务数 据的分析挖掘,通过数据的分析与发现满足实现人员分 析、车辆分析、案件分析、轨迹分析等功能中的海量数据 快速分析、预测等需求。
二、公安综合研判应用平台关键技术
(一)基础设施建设 公安综合研判应用平台基础设施建设包括:软硬件基 础条件、云平台。 首先,支撑公安大数据运行的软、硬件基础设施包括 存储设备、运算设备、一体机、基础软件、IT服务等。 其次,如果数据是财富,那么大数据就是宝藏,而云 计算就是挖掘和利用宝藏的利器!基础设施之上可以采用 云计算的架构,运行在公安网上的云平台向上为公安大数 据提供一个弹性计算的平台保障数据管理、处理和业务模
公安大数据的机遇与挑战
基于大数据技术的 公安综合研判应用平台设计
王欣1,2 郝久月1,2 汪宁1 1. 公安部第一研究所 2. 北京市中盾安全技术开发公司
摘 要:大数据技术是信息化发展的趋势,公安综合研判应用平台利用大数据技术提供高效的计算能力和分析能力,详细 阐述了平台的基础层级架构设计,并介绍面向实战典型业务应用的设计方法,为公安机关“打、防、管、控”提 供有力手段。
综上所述,庞大的规模、迅猛的增速以及多样的数 据为公安信息资源的管理和应用带来了巨大的挑战。因 此,当前迫切需要在公安信息化建设过程中采用大数据 思维,利用大数据技术带来的高性能,挖掘数据的核心 价值,支撑治安防控、综合研判等方面的业务需求,探
索公安业务应用新模式。本论文利用大数据技术设计了 公安综合研判应用平台,充分利用人员、车辆、案件数 据,设计典型业务应用,提供面向实战的大数据分析服 务和应用服务。
参考文献
[1] 周军, 黄松锋,陈鑫等. 基于云计算和大数据技术的视频应用 平台设计[J]. 警察技术, 2014(10).
[2] 覃明贵,闻扬 .大数据背景下的平安城市平 胡明舒,张学谦,陈志华.基于视图警务云平台的车辆大数据 应用[J].警察技术,2014(10).
四、典型应用
基于公安大数据综合研判应用平台,以人车案为核心 提供面向实战的专题应用,充分调研业务流程,阐述人车 案关联分析典型应用的设计。
(一)分析流程
人车模型如图3所示主要对车辆异常属性、车辆行 为、车辆特征,以及人员特征、关系人员建立分析模型。 通过建模同时对人、车、案数据建立关联关系,用于大数 据分析。
关键词:大数据 综合研判 分析
一、引言
近年来,全国公安机关紧紧围绕国家经济社会发展大 局,大力实施科技强警战略,持续开展以“金盾工程”为 载体的公安信息化建设,着力以信息化引领公安工作现代 化。随着信息主导警务战略的深入推进,“金盾工程”二 期建设基本构建了横向到边、纵向到底的基础架构,以及 全警采集、全警应用、全警共享的应用格局,公安信息化 建设取得了明显成效。全国各级公安机关在信息化建设和 应用过程中积累了海量的数据资源。
(三)数据模型 数据模型采用以车为核心、人车案三维一体的数据模 型。综合人员信息,案件信息、车辆信息等业务数据建立 数据关联模型,为分析预测提供数据支撑。
用户可以每天定时分析系统推送的关注车辆信息,对 于可疑车辆可以进行由车到案研判分析流程。首先分析车 辆属性、行为、特征等情况,确定研判车辆。然后,基于 车辆关联人员信息等综合业务数据进一步分析人车关联等 信息。最后通过关联案件/警情对车辆进行综合分析研 判。
(三)公安综合研判应用平台服务层从资源服务、业 务服务、专题服务、索引服务四个方面提供新型大数据服 务方式的要求
多源异构数据经过数据抽取、转换、清洗、加载处理 以后,形成以公安五要素为基本组织形式的基础资源库, 实现资源整合服务;通过关联映射、全文抽取转换和统一 转码、描述等处理,形成专题服务;面向公安业务提供高 性能实时数据分析处理、多数据源关联查询检索、大数据 预测、合成化作战支撑等面向治安的业务服务;提供全文 检索、数据索引的搜索服务。
在数据的存储方式上,采用内存数据库、分布式非关
系型数据库和传统关系型数据库相结合的方式。关系型数 据库用于面向传统的事物型数据;非关系型数据库用于处 理文本、视频、图片等非结构化数据;内存数据库主要面 向高实时性要求的业务,用于需要实时处理、运算的数 据,例如实时图1公安大数据分析平台总体架构空间位置 数据等;分布式非关系型数据库主要面向海量数据分析运 算任务,采用分布式数据运算处理技术实现海量数据的快 速运算处理,例如历史案件规律分析运算等。