数据统计分析系统建设方案提纲一、建设背景随着大数据时代的来临,公安信息化迎来了一个飞速发展的黄金时期,经过“大整合、高共享”,公安信息化综合应用体系已覆盖了公安主体业务,数据种类不断丰富、总量急速增长、结构不断异化,警务大数据体系已见雏形,信息资源已成为继警力资源、装备资源之后的新一类的核心资源。
据不完全统计,目前全国公安机关掌握的数据资源已达100多类上千亿条,江苏全省达几百亿条。
为在现有基础上进一步深化数据的整合应用,根据江苏省厅《关于在全省组织开展“警务大数据”工程建设应用工作的实施意见》,按照“循”数管理、决策的大数据思维思路,以云计算、大数据处理等新技术为关键支撑,以数据资源汇聚整合处理为基础,需要开发建设数据统计分析系统,进一步提升数据资源应用效益和平台数据质量,更好地服务决策、服务基层、服务实战。
二、建设目标一是以省厅办公室及各相关业务部门统计报表、业务质态统计通报为切入点,建设智能统计报表系统,强化数据价值评估、业务质态分析、实战绩效评估的自定义、实时化、模型化的报表支撑;二是在全省警务信息资源服务平台市级节点部署的基础上,搭建省厅信息资源服务平台与省级平台联动应用的对接平台,强化资源目录的上报、数据标准及规则的同步、数据质量的联动管理等工作,研究建立统一的校验规则,强化“技术打假”作用;三是以相关业务部门和督察部门对条线及基层警务质态监督和管理为切入点,构建具有省厅“特色”的业务质态监管模型,实现业务质态的模型化分析、监控、整改的全流程管理,深化警务大数据的应用。
三、建设原则1、易用性原则:对于IT维护人员:必须易学易用易集成,不需要经过编码,即可掌握系统维护的工作,自主上手开发报表;对于系统使用人员、业务人员:经过简单上手培训即可掌握系统的整体使用。
2、稳定性原则:系统应该保障系统24×7不间断运行。
软件系统发生故障时,应在2小时进行故障修复,并在4小时内排除故障。
每月应定期进行系统维护,及时发现软件系统故障隐患,了解用户反馈和要求,并可使用户及时了解最新消息,更新代码程序。
3、效率性原则:保障系统使用流畅,正常统计分析页面必须在2~3s之内展现,所有页面必须保证5s之内响应。
4、开放性原则:系统需要提供丰富开放,结构清晰的API接口,应用系统可以按照系统需求,灵活的调用各种报表内置的功能,达到更深层的集成和控制。
5、安全性原则:应有完善的安全策略确保系统的稳定运行,在加密、认证、数据完整性、不可否认性这四个方面都必须有周全的考虑和实现。
保证报表数据的完整性、传递和存储的机密性、不可篡改性和不可否认性。
移动端支持安全通过绑定MAC地址授权的指定移动设备才可以登录,有效提升移动端登录的安全性。
现结果数据的分发、提示及流程处置等功能。
质态分析系统的产生数据成果,按规则分类、业务分类存储明细,以提供接口或服务的方式开放给有需要的单位或系统查询调用。
四、系统总体架构软件系统要求是纯java软件,具有良好的跨平台兼容性,支持和各类业务系统进行集成,支持各种操作系统,支持主流web应用服务器。
前台是纯HTML展现,无需安装任何插件。
其技术架构图为:此次应用需要借助中间数据仓库通过对接底层业务系统数据,形成分析多维数据集,应用系统通过对接中间数据仓库,获取业务分析相关数据,从而形成相关统计分析页面,提供给业务人员查询分析。
功能架构图如下:五、建设内容(一)系统功能针对当前大平台统计分析功能不强,日常报表依赖后台调取和人工统计的情况,依托警务综合平台,建设智能化报表统计工具,实现各类警务业务的智能化、模型化、实时化的报表统计分析功能,以进一步提高统计效率,深化数据资源效用,最大限度地参助领导决策,减少基层负担。
5.1.1、提供自定义统计分析报表工具开发建设覆盖面广、应用深度高的统计分析系统,提供丰富的统计报表与分析方法,支持自定义报表功能,支持统计语句和统计关键阀值的动态调整。
统计报表模板及表格自定义:支持用户自定义统计表格的样式,支持保存表格样式为拥挤模板,并支持通过调用模板执行相关报表功能,相关模板支持后期自定义修改。
数据源自定义:根据需求以及权限选择所需数据源可以一个或者多个。
展示字段自定义:根据所制作报表的要求灵活选择所展示的字段,并且支持修改字段名,包括报表行数和列数。
统计条件自定义:根据所要制作报表的规则,选择单个或者组合条件,条件的阀值可以勾选或者自己手动输入,包括时间维度,单位等。
统计结果自定义:统计完毕的报表可以自行添加表头,并增加注释说明,统计结果可以导出并打印,并可保存为模板供以后或者传送他人使用。
整个报表制作过程需要全部在前台完成,不用后台编写语句,给制作报表者提供便利的操作方式以及所需的结果。
5.1.2、提供多种图表展现形式可以灵活的定义图表的维度、钻取维度、计算维度;提供常用的计算函数,支持自定义函数;提供数据关联查询和图表自动联动计算。
选择查询条件后,自动过滤出相关联的数据,所有相关图表根据新的数据范围一并自动计算,展现新的分析结果。
5.1.3、统计报表的原数据快照对于月度、季度、年度的业务报表,或者涉及检查监督考核评估的个性化自定义报表,支持数据统计时点的业务数据快照功能。
保存时间原则上为36个月。
5.1.4、统计报表的数值结果溯源详细展示对于每一份报表支持统计结果的溯源业务数据的详细展示,支持导出,打印等功能。
5.1.5、统计报表范围覆盖从省厅领导到基层,从办公室到各警种的用户,尽可能以电子化报表替代手工台账。
承建单位在合同期及后续维保服务期内,支持招标方提出的报表修改、新增、重新定义等维护要求。
第一批实现的报表如下:(二)报表工具技术要求5.2.1、报表工具基础功能要求报表工具支持双向扩展,行列对称;完全兼容多sheet的excel 文件。
报表设计者可以通过设计工具对模板加密,其他设计者要打开加密模板必须输入密码,有效保证知识产权。
支持组织递归属,针对ID,PREID形式的数据,可以自动进行组织递归树分层,无需多层过滤条件,以提升此类报表的执行性能。
支持参数设计,支持参数和报表一体化设计;支持非表格的表单设计模式进行参数设计,即可一键自动添加已经定义的参数,灵活定义参数界面的大小及拖拽式摆放控件位置。
支持参数编辑器,支持文本框、下拉树、复选框(组)、单选框(组)等几十种编辑器,支持与定义编辑器以复用,减少后期维护工作。
支持参数注入,如果报表包含A和B两个数据集,将A数据集执行后展现在报表部分结果值作为B数据集的参数再次执行。
分解几个大数据库表的关联查询的压力支持超链接钻取。
支持常规超级链接以钻取数据,同时要求支持多链接,即可在一个链接上定义多个不同的链接指向,用户点击链接会提供下拉选择支持文件导出。
支持无编码导出excel,导出pdf,导出word,导出图片,导出cvs文件,导出html文件等格式;导出文件时可以重命名;不预览报表直接导出等功能。
支持画布式布局报表的聚合报表。
整个大报表中报表块相互独立,一个报表内行距调整不影响另外的报表块。
支持pdf,applet,flash打印;支持前端页面自动缩放打印;支持前端手工调整打印偏移量,并且偏移量可以和打印机绑定5.2.2、数据源支持要求支持ORACLE 、SYBASE、DB2、MYSQL、MS SQLSERVER、达梦等主流数据库支持直接通过xmla形式直接连接多维数据库及cube,且无需代码开发。
支持将Excel,txt文件,XML文件等文件类型数据源。
5.2.3、配置和客户化开发要求提供友好的开发环境和丰富的函数库,便于二次开发。
5.2.4、操作系统支持要求支持Windows、Linux、Aix、HP-UX等主流操作系统的32位版本和64位版本5.2.5、统计图要求支持图表基本类型包括:柱形图、折线图、面积图、饼图、散点图、雷达图、仪表盘、气泡图、股价图、多坐标轴混合图等,支持多种类型的混合显示。
支持地图报表,支持国家规范地图形式表现数据;支持自定义地图的数据展现(建筑物平面图)支持数据图表,即支持在图表当中添加数据表,使得图表分类轴与数据表列名一一对应的图表展示支持在线切换图表样式,即仅需要在设计中通过零代码方式设计一个图表,选择多种展示类型即可。
支持双数据模型统计图,即可以数据集为数据模型设计统计图,也可以以单元格为数据模型设计统计图。
支持图表的前端的自定义拖拽合并系列分析;自定义分类排序;图表联动等基本交互方式;5.2.6、数据填报要求要求支持跨sheet获取报表中任意单元格的值进行运算,并支持填报时的自动计算。
具体形式类似excel中A1=sheet1!A1+sheet2!A1 要求支持丰富控件编辑风格、单元格的编辑风格,支持文本、数字、下拉框、日历、复选框、单选框组、复选框组、下拉树、视图树、多文件上传、网页框等多种风格。
支持多源填报,即一张填报表中的不同单元格中数据可以同时指向多个不同数据库。
要求支持多sheet填报,即支持将一组相关的报表以多sheet的形式组织到一起进行填报,在web页面上也可以通过sheet按钮进行切换,统一进行提交。
支持多文件上传。
有文件上传控件,无需编码,支持多文件同时上传。
支持数据校验。
支持预先定义填报的数据校验规则,包括即时校验和提交校验;对不符合校验规则的单元格进行定位并且提示。
5.2.7、数据分析要求支持图表和表格,图表和图表的灵活交互,即可通过点击图表系列改变同一报表中的其它元素。
达到图表数据联动分析的效果。
要求支持数据透视表,即可以从不同角度对数据进行分类汇总;同时生成的数据无需预先定义即可进行排序,过滤筛选等操作。
5.2.8、数据仓库处理支持动态生成的位图索引技术处理字符串等类型;支持内存映射文件技术,快速读取处理数字类型;支持基于位图索引的快速分组,过滤,钻取,支持多线程运算,互不干扰;支持位图索引压缩技术。
5.2.9、平台管理要求支持定时器。
支持定时填报和定时生成报表,定时发送邮件,定时发送短信等操作;可以根据自定义条件触发任务。
支持数据集认证,LDAP认证,HTTP认证多种认证方式;权限控制的力度包括模板访问权限,平台访问权限,远程设计权限,填报权限,数据权限,单元格属性权限多层次多粒度的控制方法。
5.2.10、移动端访问要求支持android,ios系统的app客户端;支持嵌入到微信,钉钉等第三方手机应用中。
(三)安全策略要求应有完善的安全策略确保系统的稳定运行,在加密、认证、数据完整性、不可否认性这四个方面都必须有周全的考虑和实现。
保证报表数据的完整性、传递和存储的机密性、不可篡改性和不可否认性。
移动端支持安全通过绑定MAC地址授权的指定移动设备才可以登录,有效提升移动端登录的安全性。