数据整理与数据服务保障
1.1数据统一接入
该部分功能包含元数据管理,数据接入管理,资源管理等。
元数据管理,包含业务元数据、技术元数据和操作元管理,它指的是从数据存储到系统,在整个数据的生命周期里,系统对元数据(指管理数据的各种数据)进行管理且持续维护元数信息,目的是保证数据的统一性,能被正确地使用、重用并满足各种规定。
数据接入管理,包含本地数据导入,数据接入工具,数据接入监控,数据模板导入。
系统为数据接入提供多种导入方式和接入工具,并监控接入情况,做到对数据进行全方位安全管控,提供维护数据源持续更新的机制,保证平台数据与数据前端(如交管视频设备)的数据接入和同步。
接入层提供消息处理中间件、数据清洗工具、以及行业上成熟的数据接入系统直接使用。
对于在光磁之间进行转换的数据,数据资源管理平台开放数据迁移通知接口,数据在光磁之间转换时,由光磁一体平台向数据资源管理平台发送通知,保证数据平台中的数据一致性。
资源管理,包含中间件资源申请和计算资源申请等。
系统可为用户提供计算资源申请和中间件资源申请等,由资源管理模块统一进行分配、监控、管理,支持横向扩展,并采用了灵活设计,既可以采用第三方提供的云平台、大数据平台,又考虑到接入其他厂家的资源管理平台,或者公司自研产品。
1.2数据服务
数据服务包含数据清洗工具,数据视图,数据服务,数据可视化,数据订阅,数据应用服务,数据碰撞,数据级联访问,数据目录树等。
系统提供数据清洗、统计、分析工具,用户可以根据业务需要自由组合数据清洗、分析步骤。
此外,为了更有效率地使用不同来源的数据,用户自定义的分析步骤可以保存,形成类似数据视图的功能。
在使用上,用户应体会不到数据视图和数据源之间的差别。
系统还会纳入一些行业通用数据处理方法,形成行业数据视图。
数据分析结果,以可视化的形式展现在网页,或者以API形式提供,嵌入
到任何网站上,支持的可视化效果包括
图 3可视化组件
1.3 数据治理
该部分功能包含数据治理,行业数据标准管理,数据质量指标管理等。
图 1数据治理
表1 数据质量管理手段
1.4 数据生命周期管理
该部分研发内容包含数据生命周期管理,数据备份等。
系统管理数据全生命周期的流动,包括从创建和初始存储,到它过时被删除。
为了防止由于操作失误、系统故障等人为因素或意外原因导致数据丢失,系统对数据进行备份。
图2 数据生命周期
1.5 数据安全管理
表 2 数据安全。