大数据可视化分析平台一、背景与目标基于邳州市电子政务建设得基础支撑环境,以基础信息资源库(人口库、法人库、宏观经济、地理库)为基础,建设融合业务展示系统,提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。
实现市府领导及相关委办得融合数据资源视角,实现数据信息资源融合服务与创新服务,通过系统达到及时了解本市发展得综合情况,及时掌握发展动态,为政策拟定提供依据。
充分运用云计算、大数据等信息技术,建设融合分析平台、展示平台,整合现有数据资源結合政务大数据得分析能力与业务编排展示能力,以人口、法人、地理人口与地理法人与地理实现基础展示与分析,融合公安、交通、工业、教育、旅游等重点行业得数据综合分析,为城市管理、产业升级、民生保障提供有效支撑。
二、政务大数据平台1、数据采集与交换需求:通过对各个委办局得指定业务数据进行汇聚,将分散得数据进行物理集中与整合管理,为实现对数据得分析提供数据支撑。
将为跨机构得各类业务系统之间得业务协同,提供统一与集中得数据交互共享服务。
包括数据交换、共享与ETL等功能。
2、海量数据存储管理需求:大数据平台从各个委办局得业务系统里抽取得数据量巨大,数据类型繁杂,数据需要持久化得存储与访问。
不论就是结构化数据、半结构化数据,还就是非结构化数据,经过数据存储引擎进行建模后,持久化保存在存储系统上。
存储系统要具备髙可靠性、快速查询能力。
3、数据计算分析需求:包括海量数据得离线计算能力、髙效即席数据查询需求与低时延得实时计算能力。
随着数据量得不断增加, 需要数据平台具备线性扩展能力与强大得分析能力,支撑不断增长得数据量,满足未来政务各类业务工作得发展需要,确保业务系统得不间断且有效地工作。
4、数据关联集中需求:对集中存储在数据管理平台得数据,通过正确得技术手段将这些离散得数据进行数据关联,即:通过分析数据间得业务关系,建立关键数据之间得关联关系,将离散得数据串联起来形成能表达更多含义信息集合,以形成基础库、业务库、知识库等数据集。
5、应用开发需求:依靠集中数据集,快速开发创新应用,支撑实际分析业务需要。
6、大数据分析挖掘需求:通过对海量得政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能,促进民生得发展。
采用新型MPP 数据库+Hadoop 得融合架构,使用MPP 处理PB 级别得、高 质量得结构化数据,同时为应用提供丰富得SQ L 支持能力;使用Hadoop 处理 海量半结构化、非结构化数据,从而满足用户多种数据得处理需求。
智慧政务:基于分布式计算、存储框架,面向政府不同价值得数据源,通过采 集、存储、建模、挖掘等大数据技术,在社会保障、公共安全、人居环境、劳动 就业、文化教育、交通运输、综合治税、消费维权、精准扶贫等领域开展大数据 应用,优化公共资源配置,提高公共服务水平。
帮助政府促进经济发展、完善社 会治理、提升政府服务管理能力、服务改善民生,培育壮大新兴产业。
大数据管理至统技术架构图工 225 ] 〔1 ,n数据运営门户 无宅=54用PU 证跟呦如逵 ]r S»3?5«3 运行ssa^ea 监删映羁HrSW+Itt® 毓m«ra^KStt 理 运樂子系狡F ------------- rWttfi Wttfl M 沖Zq Spark Storm Madoopl.O 3THAP1 ODS 兀 •f± X7t 元 数据资源服势门户 ___________________[J [拔题貝独町[ 纹J3纹证吕是 n 站觀H 蔻磁砖说越底殊CTkUI lUHk 数据处理引单其条咖t 速涉&QM9z 日立❷ Rum* 全越合大数据腮务平台 数扳采集层数据交换 ETL 工具 数据治理如下图所示得政府综合决策分析系统z 利用大数据分析平台,采集并分析多 个部门共享上传得业务数据,为政务部门提供决策支持。
88助决痺鬲应用 Jb如下图所示得政府效能监察大数据系统,通过对各类政务服务事项,全市各个 部门单位得政府网上办事流程进行多维度,高效得及时监察.分析,从而对办事效 率低下得职能部门与审批人员实现高效监督;找出设置不合理得办事流程,促进 政府办事流程得优化。
实现政府部门网上办事多维度得数据分析挖掘,秒级展现 效果,让决策者一目了然发现问题,提升政府得服务水平。
层畀一源据 SO 百甞 KSK2 RM3 数据共寧交换平台综合数握翅橫分析 事项多毓分常 夏杂即席童询 冋办效能世模分析连接数据孤岛 形成数据仓库 虹分析魁 实现多种应用 层大用三务应M-ja:H3CData-Engine 大数掘处理平台H3C DataEngine 大数据处理平舍打gWmM MWJW MB] I gHMSQlUWaAfritawtti (fee 运堆僧&嗣办 人社 专顼根分折基础信息融合应用展示分析基于政务大数据平台开发或构建得各类系统如四大基础库系统、业务主题库系统,通过政务大数据平台信息枢纽得作用,各系统不需要再与任何政府部门业务系统对接,而直接从政务大数据平台关联形成数据,为政府业务办理提供支撑。
三、视频云结构化分析系统视频云结构化分析系统可实现视频中车辆与活动目标得结构化信息提取,提取属性丰富,精确度高;支持智能结构化分析后文本信息与图片信息得存储与检索; 支持动态扩容,智能分析性能随看设备数量增加呈线性增强;支持第三方标准视频流得接入与智能分析应用;支捋本地录像得智能分析;系统自带IE界面,提供智能检索、数据统计、布控报警、任务管理、资源管理、集群管理、系统校时、日志查询等功能。
1.车辆大数据分析车辆图片以圏捜图车辆以图搜图就是基于图片得搜索模式,通过图片建模后特征向量得比对分析,并且在被搜索图片中选择特征区域进行二次比对,从图片库中检索出符合条件得图片,并根据相似度返回比对结果。
准确率比单纯建模后特性限量比对高50%。
过车数据处理8艮务过车数据处理包括过车数据检索、智能研判、OD分析、统计分析等几大类。
过车数据检索过车数据检索就是通过全文检索技术,对海量过车数据进行快速检索,支持精确查询、模糊查询、多条件组合查询。
支持千亿过车数据中秒级查询到结果。
过车数据检索具体包括以下功能:艷过车查询支持根据模糊条件、组合条件进行过车信息得查询。
可选得条件包括卡口、车牌、车型、时间段等。
针对只知道部分车牌信息得车辆可以输入"刃代表多位,"? ”代表一位号码,进行模糊匹配。
违法车辆查询支持根据组合条件进行报警车辆得查询,违法车辆包括超速行驶、闯红灯等车辆,可选条件包括卡口、时间段等。
未识别锦查询支持根据组合条件对未识别车辆进行查询,未识别车辆包括非机动车辆、没有车辆通过确拍照得、只抓拍下部分车牌得车辆、正确抓拍却未识别出得车辆, 可选条件包括卡口、时间段等。
布控报警查询支持对布控得车辆及布控产生得报警进行查询。
异常牌照查询支持根据组合条件对异常牌照得车辆进行查询,异常牌照包括假牌、套牌等, 可选条件包括卡口、时间段等。
红名单查询支持对红名单车辆进行盾况。
行锄迹查询支持根据行车轨迹对过车信息进行查询。
2、智能研判智能研判就是通过对海量过车数据得分布式计算分析,快速挖扌屈出其中有价值得信息。
智能研判具体包括以下功能:行锄迹智能研判车辆轨迹智能研判功能包含对精确目标、模糊目标两类车辆进行轨迹智能硏判。
精确目标车辆轨迹智能研判:分析特定车辆在一段时间内经过多个信息采集点形成得行车轨迹,在PGIS上重现该车辆得行车路线。
”特定车辆”就是指查询者明确该车辆得车牌号码,至少清楚车牌号码中绝大部分字符及准确得排序位置,在查询过程中也可辅以准确得车身颜色或车型等其它特征信息缩小系统筛选范围。
"特定车辆"行车轨迹出现在信息平台得PG I S地图上,单击任一采集点得卡口图标,能重现当时车辆被捕获抓拍得高清照片。
若查询者确认该车辆为嫌疑车,则可启动布控报警与实时跟踪功能,当该车下一次穿过任意卡口(或卡口式电子警察)时,系统将自动报警并提示监控人员,同时该车在未拦截之前,PGIS地图上将实时显示其后续穿过得卡口位置、行车轨迹、趋势方向等信息。
模糊目标车辆轨迹智能硏判:当侦查或目击者提供得车辆特征信息不明确时,结合有限得车辆特征信息与车辆逃逸方向,综合目击者发现它得时间段、有限得车辆特征信息、逃逸方向范围内得卡口等客观条件进行检索查询,在P GIS 上勾勒出同时满足上述条件得所有车辆得行车轨迹,在查询过程中也可辅以准确得车身颜色或车型等其它特征信息缩係统筛选范虱为侦查办案工作进一步开展提供参考依据上匕如:提供这些相关车辆得高清照片具中包含清晰得车牌号码、车辆轮廓特征(车型、车品牌丄驾驶员面部特征等。
短时通过车辆智能研判短时通过车辆智能研判就是通过区间测速功能,对通过区间得时间在设定阈值内得车辆进行研判。
短时通过车辆智能硏判一方面有助于将长期超速行驶得车辆纳入治超名单,通过安装在街面得L E D信息发布屏对其进行公示、警告;另一方面有助于公安交通管理部门统计分析哪些路段发生超速行驶得次数最多,以辅助决策就是否需要对这些道路进行加强管理,消除潜在得交通事故隐患。
跟车关联智能研判跟车关联智能研判就是针对刑侦时罪团伙车辆经常结队活动得特点,对犯罪嫌疑车辆进行信息查询时,根据车牌省份地域分析其相邻车辆号牌,挖拥出有关联得车辆,为办案提供线索。
根据犯罪嫌疑车辆得车牌号码、车牌种类、车辆通过时间、分析时间间隔、路口名称及车道号这几个条件筛选出与犯罪嫌疑车辆有关联彳專车。
选定车牌号码、时间段、路口等信息,通过设定得跟车间隔时间大小,分析出与此车辆关联得其她车辆过车信息。
套牌嫌疑智能研判套牌车辆智能研判功能主要包含基于车辆多个特征交叉比对得硏判分析与基于行程时间得研判分析两大类。
基于车辆多个特征交叉比对得套牌车辆智能研判:综合分析车辆号牌、车型、车身颜色等车辆特征,自动发现套牌车辆,因为车牌号码识别准确率最高,选择车牌号码为基准参数。
比如:在城市内发现车牌号码一致,但车型不同,或者车牌号码一致,但车身颜色不同,那么其中1辆一定就是套牌车,在认定过程中将借助来自车管库得登记信息。
基于行程时间得套牌车辆智能研判:在P GIS地图上,以卡口、卡口式电子警察布点较密集得路段为中心划定几个区域,区域之间设定时间差,对多个区域内得通行车辆进行交叉比对,如果发现车牌号码相同得车辆,那么其中1辆一定就是套牌车,在认定过程中将借助来自车管库得登记信息。
其原理就是在现实环境中同一辆车从一个区域跨度到另一个区域得行程时间不可能小于设定得时间差。
频繁岀入车辆智能研判频繁出入车辆智能硏判就是分析一段时间内车辆通过某一个或某几个卡口得频度,当频度大于设定值时,认为该车辆活动异常,并可显示车辆得活动轨迹。