智慧城市公共数据共享交换平台建设方案2018年3月目录1.项目概述 (5)1.1.平台建设目标 (5)1.2.总体需求分析 (6)1.3.平台需求分析 (9)2.平台建设思路 (9)2.1.一套架构平台 (9)2.2.两类构建框架 (10)2.2.1.页面构建框架 (10)2.2.2.安全构建框架 (10)2.3.三种工具组件 (10)2.3.1.日志组件 (10)2.3.2.消息组件 (11)2.3.3.单点登陆组件 (11)2.4.四项基础服务 (11)2.4.1.文件分布式存储服务 (11)2.4.2.文档在线阅读服务 (11)2.4.3.流媒体服务 (12)2.4.4.任务调度服务 (12)2.5.五个运行引擎 (12)2.5.1.工作流引擎 (12)2.5.2.数据接口引擎 (12)2.5.3.报表引擎 (13)2.5.4.全文检索引擎 (13)2.5.5.权限分级引擎 (14)3.平台总体设计 (14)3.1.平台建设原则 (14)3.2.平台架构设计 (15)3.3.平台功能设计 (17)3.3.1.数据采集 (19)3.3.2.数据清洗加载 (20)3.3.3.数据共享交换 (21)3.3.4.资源目录管理 (23)3.3.6.数据资源管理 (25)3.3.7.目录管理与服务 (25)3.3.8.资源统一调度 (27)3.3.9.数据质量管理 (28)3.3.10.运行监控管理 (29)3.3.11.接口开发与服务 (29)3.3.12.服务总线 (30)3.3.13.云应用引擎 (30)4.平台详细建设方案 (31)4.1.数据采集 (31)4.1.1.元数据管理 (33)4.1.1.1.采集字段管理 (33)4.1.1.2.采集目录资源库管理 (34)4.1.1.3.数据源管理 (34)4.1.2.数据采集管理 (34)4.1.2.1.采集策略管理 (35)4.1.2.2.采集任务管理 (36)4.1.2.3.调度与监控 (37)4.1.2.4.离线数据采集 (38)4.1.3.日志管理 (38)4.2.数据清洗加载 (39)4.2.1.数据清洗 (39)4.2.1.1.数据转换规则配置 (39)4.2.1.2.数据转换 (40)4.2.1.3.数据去赃 (40)4.2.1.4.数据批量清洗 (41)4.2.2.数据加载 (41)4.2.3.日志管理 (41)4.3.数据共享交换 (41)4.3.1.交换桥接 (45)4.3.2.前置交换 (46)4.3.3.交换传输 (48)4.3.4.交换管理 (48)4.4.资源目录管理 (49)4.4.1.专项资源目录库 (49)4.4.3.资源目录管理 (50)4.4.3.1.目录生产 (50)4.4.3.2.目录管理 (50)4.4.3.3.目录查询 (52)4.4.4.编目管理 (53)4.5.元数据管理 (54)4.5.1.元数据定义 (56)4.5.2.元数据存储 (56)4.5.3.元数据查询 (57)4.5.4.元数据维护 (57)4.5.5.元数据检查 (57)4.5.6.元数据分析 (58)4.6.数据资源管理 (58)4.6.1.模型管理 (59)4.6.2.数据查询 (59)4.6.3.同步和迁移 (59)4.6.4.导入导出 (59)4.6.5.计划任务 (60)4.7.目录管理与服务 (60)4.7.1.资源目录服务 (60)4.7.2.目录共享统计分析 (61)4.7.3.数据订阅 (61)4.8.资源统一调度 (62)4.8.1.任务调度配置 (62)4.8.2.智能调度运行 (62)4.8.3.资源控制 (63)4.8.4.优先级管理评估 (63)4.8.5.调度策略管理 (63)4.8.6.调度全面监控 (64)4.8.7.作业告警与错误反馈 (64)4.8.8.调度变更 (64)4.9.数据质量管理 (65)4.9.1.数据质量控制 (65)4.9.2.数据质量评估 (66)4.9.2.1.自动化评估 (66)4.9.3.数据稽核管理 (66)4.10.运行监控管理 (67)4.10.1.运行监控 (67)4.10.2.数据采集过程监控 (68)4.10.3.监控告警 (68)4.10.4.日志管理 (69)4.11.接口开发与服务 (69)4.12.服务总线ESB (69)4.12.1.权限校验 (70)4.12.2.服务治理 (71)4.12.3.协议转换 (71)4.12.4.消息格式转换 (72)4.12.5.服务路由 (74)4.12.6.监控和运维 (75)4.12.7.服务等级 (76)4.12.8.日志管理 (76)4.12.9.异常处理 (76)4.13.云应用引擎 (77)1.项目概述1.1.平台建设目标智慧城市是城市信息化发展的阶段演进，是相对数字城市、互联城市而言，城市信息化发展的高级阶段。
“数字城市”以计算机、办公软件、虚拟现实技术等为主要特征，实现从纸面化的到数字化，将现实物理世界转化为用电脑数据代表的虚拟状态；“互联城市”以互联网、软件技术、城域网快速发展为主要特征，实现从数字化到网络化，通过对分散的、局部的虚拟信息处理，对物理世界做出反应；而进入“智慧城市”阶段，强调从网络化到云中枢化，通过充分运用信息通信技术手段，更好的感测、分析、整合城市核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能的响应，为人类创造更美好的城市生活。
随着新型城镇化建设逐步发展成为中国最大的内需潜力和实现现代化的重要任务，起来越多的城市开始开展智慧城市的规划、设计与建设工作，希望能够有效应对新型城镇化进程中的各类挑战，实现城市的和谐宜居、产为转型和高效运营的可持续发展。
通过智慧城市项目的建设，实现城市内的智慧应用数据互融互通，如智慧交通、教育医疗、智慧管网、智慧环卫、智慧综治、智慧城管、智慧教育、智慧审批、智慧农业等数据信息通过公共信息平台打破信息孤岛。
实现数据信息应用价值的同时，并形成良好的服务运营模式。
市场的生活品质得到明显提升，城市建设和管理的科学化水平明显提高。
以信息、知识和脑力资源为支撑，通过透明、充分的信息获取，广泛、安全的信息传递，有效、科学的信息处理，均衡而有效地提高城市运行和管理效率，改善城市公共服务水平，从而跨越式地提高城市发展的创新性、有序性和持续性，形成低碳城市生态圈，构建城市发展的新形态，使整个城市像一个有智慧的人那样，具有较为完善的感知、认知、学习、成长、创新、决策、调控能力和行为意识，使绝大多数市民都能享受到智慧城市的服务和应用。
1.2.总体需求分析智慧城市（Smart City），是新一轮信息技术变革的产物，是信息资源日益成为重要生产要素和信息化向更高阶段发展的表现。
它以互联网、物联网、无线宽带、云计算、大数据等新技术为基础，更加广泛深入地推进基础型与应用型信息系统开发建设和各类信息资源的开发利用，形成技术集成、高端发展、综合应用的现代化、信息化、智能化城市。
为城市规划、建设、调控、预测提供了革命性的手段，具有广阔的发展前景。
自2008年IBM首次提出“智慧地球”（Smart Earth）这一概念以来，国外许多城市都在进行智慧城市建设的筹划与尝试，有相当一部分城市已经开始实施示范性工程。
中国已有北京、上海、无锡、宁波、广州、沈阳、南京、西安、重庆等近百个地区提出要建设智慧城市。
“智慧城市建设”也已被列为中国“十三五”社会发展战略的重点之一。
当前，信息技术发展突飞猛进，信息技术创新层出不穷，以“大数据”为主导的信息化浪潮正席卷全球，成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。
大数据既是一种海量的数据状态及其相应的数据处理技术，也是一种新的思维方式，是一系列新理念、新方法、新要素的集中体现。
它不仅是信息化的一种手段、一项设施，而是已经成为信息化社会发展演进的重要目标之一，以及实现发展目标的重要路径。
在大数据时代，数据就是财富，就是资源，就是竞争力。
近年来，多市县被列为国家新型城镇化综合试点地区。
各市紧紧围绕“精致、独特、典雅、生态”目标，秉承“以人为本、以史为脉、以和为魂、以绿为韵”理念，高位规划，统筹建设，精细管理，全力推进新型城镇化建设，城乡建设品位明显提升。
目前，被列为智慧城市建设试点的地区，将按照《国家新型城镇化综合试点总体实施方案》中明确的各项试点任务总体要求，坚持突出地方特色，推动建设功能好、交通畅、环境优、形象美的新型、美丽城镇，努力打造成全国新型城镇化和城乡统筹发展示范区。
而智慧城市的建设和实施，是打造国家新型城镇化的重要途径。
近两年，被列为试点政府工作中明确提出，深化智慧城市建设，将各委办局数据实现共享，将是智慧城市建设的第一步，也是最为重要的一步。
将公安的人口数据、医院的卫生健康数据、综合治安的治安数据等进行抽取共享形成公共交换数据中心，为各委办局提供基础数据的支撑。
构建精确、高效、全时段、全方位的城市治理模式。
在智慧建设建设过程中，将整合汇集各部门的信息资源，采用云计算、大数据等技术建成公共数据共享交换平台及各委办局业务应用平台，以实现强政、利企、惠民的建设目标。
按照总体建设要求，把握全域城市化、新型工业化和高新技术产业化的内在需求，全面促进城市运行管理创新机制的形成、构建功能完善的信息通信基础设施和城市信息资源高效融合的公共信息服务支撑平台，催生一批成熟助力经济产业发展、城市管理、政务建设和民生保障服务的重点应用，培育一批具有竞争力的智慧产业集群。
建成信息通信技术基础设施环境区域领先、城市管理运营与民生服务质量明显提高、产业结构与创新能力优化发展的智慧型现代化城市，实现以生态、高端、活力、宜居为重要特征的现代城市。
1.融合科学发展理念，创建生态城市通过“智慧城市”的建设，从创新城市发展理念、创新城市发展形态、创新城市组合功能、创新城市产业形态、创新城市要素集成方式、创新城市管理模式等方面创新城市发展方式。
着眼城市功能，进一步提高生态建设标准，打造生态文明示范区，完善高端商务、休闲、居住及公共服务等功能，丰富城市文化内涵。
2.促进经济发展，实现活力城市通过“智慧城市”的建设，着眼产业功能，着力破解制约服务业发展的关键环节和体制机制性障碍，探索以现代服务业引领区域经济发展的新模式，稳步发展现代服务业重点领域，把城市打造成为全国深化服务业综合改革的先行区和样板区。
3.提升民生服务水平，构建宜居城市通过“智慧城市”的建设，提高公共服务、公共治安、城市管理等诸多方面，为政府管理和决策提供支撑。
完善管理和服务体制、优化资源配置、加强部门间协作，提高政府的管理效率。