气象大数据平台建设方案目录第一章引言 (1)第二章大数据平台的基本构成 (3)2.1概述 (3)2.2数据基础决定平台框架 (4)2.2.1 从分类大数据到选择大数据解决方案 (4)2.2.2 依据大数据类型对业务问题进行分类 (7)2.2.3 使用大数据类型对大数据特征进行分类 (9)2.3数据分类决定应用方案 (12)2.4大数据平台的逻辑层次 (13)2.4.1 大数据集成层 (14)2.4.2 大数据存储层 (15)2.4.3 大数据分析层 (15)2.4.4 大数据应用层 (16)第三章大数据平台的功能架构 (16)3.1组件构成 (16)3.1.1 横向层 (16)3.1.1.1 大数据集成层 (16)3.1.1.2 大数据存储层 (19)3.1.1.3 分析层 (20)3.1.1.4 使用层 (21)3.1.2 垂直层 (23)3.1.2.1 信息集成 (24)3.1.2.2 大数据治理 (24)3.1.2.3 服务质量层 (25)3.1.2.4 系统管理 (27)3.2功能应用 (28)3.3原子模式 (28)3.3.1 数据使用组件 (29)3.3.1.1 可视化组件 (29)3.3.1.2 即席发现组件 (30)3.3.1.3 数据转储组件 (31)3.3.1.4 信息推送/通知组件 (31)3.3.1.5 自动响应组件 (32)3.3.2 数据处理组件 (32)3.3.2.1 历史数据分析组件 (32)3.3.2.2 高级分析组件 (33)3.3.2.3 预处理原始数据组件 (34)3.3.2.4 即席分析组件 (35)3.3.3 数据访问组件 (36)3.3.3.1 web和社交媒体访问组件 (36)3.3.3.2 物联网设备数据的访问组件 (39)3.3.3.3 基础数据(观测数据和生产数据)的访问模式 (40)3.3.4 数据存储组件 (41)3.3.4.1 分布式非结构化数据存储组件 (41)3.3.4.2 分布式结构化数据存储组件 (42)3.3.4.3 传统数据存储组件 (42)3.3.4.4 云存储组件 (42)3.4复合模式 (43)3.4.1 存储和探索复合组件 (43)3.4.2 专业分析和预测分析组件 (44)3.4.3 OLAP在线分析 (45)3.4.4 原子模式和符合模式的映射 (46)3.4.4.1.1 图 10. 将原子模式映射到架构层 (48)3.5解决方案模式（模拟应用场景） (48)第四章技术架构实现方案 (49)4.1概述 (49)4.2技术架构的关键问题 (49)4.2.1 hadoop (49)4.2.2 数据库 (49)4.2.3 流计算 (50)4.3数据库功能支持 (50)4.3.1 开发及应用接口 (50)4.3.2 SQL语法兼容性 (52)4.3.3 生命周期管理功能 (55)4.3.4 热数据 (56)4.3.5 冷数据 (56)4.3.6 表分区功能 (57)4.3.7 表压缩功能 (58)4.3.8 大表索引管理 (58)4.3.9 数据导入与导出 (59)4.3.10 多级数据存储 (60)4.3.11 半结构化与非结构化数据支持 (61)4.3.12 全文数据处理 (61)4.3.12.1 安全可靠与运维能力 (62)4.3.12.2 资源管理 (62)4.3.12.3 系统容错性 (65)4.3.13 单点故障消除 (66)4.3.14 容灾与备份 (68)4.3.15 在线扩容 (69)第五章大数据创新平台设计 (70)5.1质控治理服务（云平台） (70)5.1.1 质量规则 (72)5.1.3 数据比对 (73)5.1.4 数据检测 (74)5.1.5 数据质量评分 (74)5.2数据资源服务（云平台和智慧城市） (75)5.2.1 架构设计 (75)5.2.2 服务总线 (76)5.2.2.1 服务总线架构 (76)5.2.2.2 服务生命周期管理 (77)5.2.2.3 服务目录 (78)5.2.2.4 服务授权 (79)5.2.2.5 服务网关 (79)5.2.2.6 服务监控 (80)5.2.2.7 服务SDK (80)5.2.3 数据超市 (81)5.2.3.1 数据多维展示 (81)5.2.3.2 数据检索 (82)5.2.3.3 数据订阅 (82)5.2.3.4 数据评分、评论 (82)5.2.3.5 数据可视化 (83)5.2.3.6 数据气象局 (83)5.2.3.7 数据反馈 (84)5.3数据资源服务 (84)5.3.1 数据目录创建 (84)5.3.1.1 数据目录申请 (84)5.3.1.2 数据集目录完善 (85)5.3.1.3 数据目录初始化 (86)5.3.2 标签生成 (86)5.3.3 目录审批管理 (86)5.4.1 数据挖掘 (87)5.4.2 数据可视化 (91)5.4.2.1 地图 (92)5.4.2.2 图表 (93)5.5数据开放服务 (103)5.5.1 数据开放目录管理 (103)5.5.1.1 目录设计 (103)5.5.1.2 数据开放目录的梳理 (104)5.5.2 数据开放加工机制 (104)5.5.2.1 数据再整理 (104)5.5.2.2 数据失真 (105)5.5.3 数据开放方式管理 (107)5.5.4 数据开放生命周期管理 (107)5.5.4.1 数据规划设计 (107)5.5.4.2 数据运行维护 (108)5.5.4.2.1 待发布数据集 (108)5.5.4.2.2 数据集目录查询 (108)5.5.4.2.3 数据集更新 (108)5.5.4.2.4 数据集目录修改 (109)5.5.4.2.5 数据集目录下线 (110)5.5.4.2.6 数据集目录删除 (110)5.5.4.2.7 数据绩效评价 (110)5.5.5 数据开放授权管理 (110)5.5.6 开放服务管理机制 (111)5.5.6.1 数据目录申请流程 (111)5.5.6.2 数据集目录完善 (112)第六章基础资源平台设计 (113)6.1网络设计 (113)6.1.1 系统现状 (113)6.1.1.1 网络结构现状 (113)6.1.1.2 系统资源现状 (113)6.1.1.3 网络带宽现状 (115)6.1.1.4 路由协议现状 (115)6.1.2 需求分析 (115)6.1.2.1 网络结构需求 (115)6.1.2.2 网络分区需求 (116)6.1.2.3 网络带宽需求 (117)6.1.2.4 网络高性能需求 (119)6.1.2.5 网络负载均衡需求 (119)6.1.3 数据中心网络系统设计 (119)6.1.3.1 系统设计原则 (119)6.1.3.2 网络结构规划 (121)6.1.3.2.1 网络层次规划 (121)6.1.3.2.2 网络分区规划 (123)6.1.3.3 网络总体结构设计 (126)6.1.3.4 数据中心核心层设计 (128)6.1.3.5 数据中心接入层设计 (133)6.1.3.6 lP地址规划 (137)6.1.3.7 数据中心路由设计 (139)6.1.3.7.1 路由协议选择 (139)6.1.3.7.2 数据中心内部路由设计 (140)6.1.3.7.3 数据中心与外部网络路由设计 (141)6.1.3.8 负载均衡系统设计 (142)6.1.3.8.1 全局负载均衡系统设计 (142)6.1.3.8.2 应用负载均衡系统设计 (144)6.1.3.9 可靠性设计 (144)6.1.3.9.1 网络总体结构可靠性设计 (144)6.1.3.9.2 数据中心设备冗余设计 (146)6.1.3.9.3 链路冗余设计 (147)6.1.3.10 带外管理网络设计 (149)6.1.3.10.1 带外管理简介 (149)6.1.3.10.2 带外管理的必要性 (150)6.1.3.10.3 数据中心带外管理网络设计 (150)6.1.3.11 NTP（网络时间同步）系统设计 (150)6.1.3.11.1 NTP概述 (151)6.1.3.11.2 NTP的工作原理 (151)6.1.3.11.3 NTP系统设计 (152)6.1.4 同城DWDM系统设计 (153)6.1.4.1 传输网的需求 (153)6.1.4.2 传输技术的选择 (154)6.1.4.3 同城数据中心DWDM传输网络设计 (155)6.1.4.4 可靠性设计 (157)6.2气象局云大数据平台基础设施建设需求分析 (157)6.2.1 建设需求分析 (157)6.2.1.1 系统现状 (157)6.2.1.1.1 关键业务系统 (157)6.2.1.1.2 数据系统 (158)6.2.1.1.3 备份系统 (158)6.2.1.2 容灾建设考虑因素 (159)6.2.2 气象局云大数据平台基础设施建设技术方案建议 (162)6.2.2.1 总体架构平台概述 (162)6.2.2.2 气象局云计算平台设计 (163)6.2.2.2.1 气象局云平台基础架构 (163)6.2.2.2.2 气象局云计算管理平台 (164)6.2.2.2.3 气象局云计算安全 (169)6.2.2.3 计算资源池建设方案建议 (170)6.2.2.3.2 虚拟化资源池建设 (172)6.2.2.3.3 数据库平台建设 (174)6.2.2.3.4 资源管理平台 (175)6.2.2.4 存储资源池建设方案建议 (175)6.2.2.4.1 存储资源池建设原则 (175)6.2.2.4.2 存储数据类型 (176)6.2.2.4.3 数据存储模式 (179)6.2.2.4.4 存储资源池建设方案 (180)6.2.2.5 备份系统建设方案建议 (182)6.2.2.5.1 数据备份系统建设方案 (182)6.2.2.6 系统资源管理平台建设方案建议 (186)6.2.3 气象局云大数据平台基础设施平台两地三中心建设方案建议 (188)6.2.3.1 两地三中心建设依据 (188)6.2.3.2 两地三中心建设目标 (189)6.2.3.3 容灾技术的选择 (190)6.2.3.4 两地三中心总体架构设计建议 (191)6.2.3.4.1 总体架构描述 (192)6.2.3.4.2 资源池功能描述 (193)6.2.3.4.3 总体架构设计 (193)第七章大数据支撑平台设计 (199)7.1设计思路 (199)7.1.1 轻量服务化架构 (199)7.1.2 弹性可扩展 (200)7.1.3 开放共享 (200)7.1.4 安全可靠 (200)7.1.5 自主可控 (200)7.2设计内容 (201)7.2.1 数据存储 (203)7.2.1.2 分布式数据库 (206)7.2.1.2.1 基于MySQL的关系数据库集群 (206)7.2.1.2.2 基于HBase的NoSQL数据库集群 (207)7.2.1.3 分布式缓存 (210)7.2.1.3.1 基于Memcached的缓存 (210)7.2.1.3.2 基于Redis的缓存 (212)7.2.1.3.3 缓存分片路由控制器 (213)7.2.2 计算能力 (213)7.2.2.1 离线计算Map/Reduce (215)7.2.2.2 离线计算Hive (216)7.2.2.3 流式计算Storm (217)7.2.2.4 内存计算Impala (217)7.2.2.5 图计算 (218)7.2.3 高速服务框架 (218)7.2.3.1 服务注册中心 (219)7.2.3.2 服务监控中心 (220)7.2.3.3 服务引擎 (220)7.2.4 垂直搜索引擎 (221)7.2.5 开放服务 (223)7.2.5.1 云服务器 (223)7.2.5.2 云存储 (223)7.2.5.3 关系数据库 (223)7.2.5.4 海量结构化存储 (224)7.2.5.5 云搜索 (224)7.2.5.6 消息推送 (224)7.2.5.7 负载均衡 (225)7.2.5.8 云监控 (225)7.2.6 分布式应用服务器 (225)第八章大数据创新平台设计 (226)8.1采集整合服务 (226)8.1.1 现状分析 (226)8.1.2 设计思路 (226)8.1.2.1 爬取方式 (227)8.1.2.2 购买方式 (227)8.1.2.3 合作方式 (227)8.1.2.4 数据整合 (228)8.1.3 设计内容 (228)8.1.3.1 互联网原始数据采集 (228)8.1.3.2 互联网合作伙伴数据采集 (230)8.1.3.3 其他部门数据采集 (230)8.1.3.4 社会机构和商业组织数据采集 (231)8.1.3.5 数据整合 (231)8.1.4 分步建设 (231)8.1.4.1 互联网原始数据 (232)8.1.4.2 互联网合作伙伴数据 (232)8.1.4.3 国家其他部门数据 (232)8.1.4.4 社会机构和商业组织数据 (232)8.1.5 运营方式 (233)8.2质控治理服务（云平台） (234)8.2.1 质量规则 (235)8.2.2 自动化监控数据流转 (236)8.2.3 数据比对 (237)8.2.4 数据检测 (238)8.2.5 数据质量评分 (238)8.3数据资源服务（云平台和智慧城市） (238)8.3.1 架构设计 (238)8.3.2 服务总线 (240)8.3.2.2 服务生命周期管理 (241)8.3.2.3 服务目录 (242)8.3.2.4 服务授权 (242)8.3.2.5 服务网关 (242)8.3.2.6 服务监控 (243)8.3.2.7 服务SDK (244)8.3.3 数据超市 (244)8.3.3.1 数据多维展示 (244)8.3.3.2 数据检索 (245)8.3.3.3 数据订阅 (245)8.3.3.4 数据评分、评论 (245)8.3.3.5 数据可视化 (246)8.3.3.6 数据气象局 (246)8.3.3.7 数据反馈 (247)8.4数据资源服务 (247)8.4.1 数据目录创建 (247)8.4.1.1 数据目录申请 (247)8.4.1.2 数据集目录完善 (248)8.4.1.3 数据目录初始化 (248)8.4.2 标签生成 (248)8.4.3 目录审批管理 (249)8.5数据洞察服务（云平台） (249)8.5.1 数据挖掘 (249)8.5.2 数据可视化 (254)8.5.2.1 地图 (254)8.5.2.2 图表 (255)8.6数据开放服务 (264)8.6.1 数据开放目录管理 (264)8.6.1.2 数据开放目录的梳理 (266)8.6.2 数据开放加工机制 (266)8.6.2.1 数据再整理 (266)8.6.2.2 数据失真 (267)8.6.3 数据开放方式管理 (269)8.6.4 数据开放生命周期管理 (269)8.6.4.1 数据规划设计 (269)8.6.4.2 数据运行维护 (270)8.6.4.2.1 待发布数据集 (270)8.6.4.2.2 数据集目录查询 (270)8.6.4.2.3 数据集更新 (270)8.6.4.2.4 数据集目录修改 (271)8.6.4.2.5 数据集目录下线 (271)8.6.4.2.6 数据集目录删除 (271)8.6.4.3 数据绩效评价 (272)8.6.5 数据开放授权管理 (272)8.6.6 开放服务管理机制 (273)8.6.6.1 数据目录申请流程 (273)8.6.6.2 数据集目录完善 (274)第九章信息安全中心设计 (275)9.1气象局云安全风险分析 (275)9.1.1 气象局云环境面临的传统安全威胁 (275)9.1.2 气象局云环境面临的新型安全威胁 (276)9.1.2.1 IaaS安全威胁 (276)9.1.2.2 PaaS安全威胁 (297)9.1.2.3 DaaS安全威胁 (308)9.1.2.4 SaaS安全威胁 (314)9.1.2.5 运维服务安全威胁 (320)9.2气象局云安全建设方案 (324)9.2.1 IaaS层安全建设方案 (324)9.2.1.1 规划安全域 (325)9.2.1.2 安全池建设 (327)9.2.2 PaaS平台安全 (332)9.2.2.1 方案总体设计 (332)9.2.2.2 软件健康上线 (333)9.2.2.3 服务中间件安全 (336)9.2.2.4 PaaS平台高可用性 (337)9.2.2.5 PaaS平台运维集中管控 (340)9.2.3 DaaS层安全建设方案 (342)9.2.3.1 云数据防泄漏系统 (342)9.2.3.2 数据服务安全使用体系 (344)9.2.4 SaaS层安全建设方案 (346)9.2.4.1 云应用访问控制 (346)9.2.4.2 应用攻击防护 (351)9.2.5 安全服务中心建设方案 (352)9.2.5.1 日志池 (358)9.2.5.2 日志审计倒查系统 (360)第十章运维监控中心设计 (365)10.1云计算中心运维服务方案 (365)10.1.1 运维服务体系建设说明 (365)10.1.1.1 运维服务体系建设需求 (365)10.1.1.2 运维服务体系建设目标 (366)10.1.1.3 运维服务体系建设意义 (367)10.1.2 运维服务体系架构 (368)10.1.2.1 服务宗旨 (368)10.1.2.2 气象局云中心服务体系架构 (368)10.1.2.2.1 组织管理模式层 (369)10.1.2.2.2 制度规范层 (369)10.1.2.2.3 技术支撑层 (369)10.1.2.3 体系建设内容 (370)10.1.2.3.1 组织模式 (370)10.1.2.3.2 管理制度 (371)10.1.2.3.3 管理流程 (372)10.1.2.3.4 绩效考核 (372)10.1.2.3.5 运维费用 (372)10.1.2.3.6 技术支撑 (373)10.1.3 云计算中心运维服务内容 (373)10.1.3.1 驻场服务支持 (373)10.1.3.2 搬迁服务 (377)10.1.3.3 系统迁移 (378)10.1.3.4 云托管服务 (378)10.1.3.5 二次开发服务 (380)10.1.3.6 其他增值服务 (380)10.1.3.7 突发事件管理与应急响应预案 (390)10.1.3.8 驻场运维服务目录 (391)10.1.3.9 云运维术语 (398)10.1.4 云计算中心监控方案和排障方法 (399)10.1.4.1 有效支持多种监控类型 (399)10.1.4.2 安全可靠的监控手段 (399)10.1.4.3 监控分类 (400)10.1.4.4 排障方法 (402)10.1.5 体系建设的效果分析 (403)10.2系统迁移方案规划 (406)10.2.1 迁移原则 (406)10.2.2 迁移步骤 (406)第十一章平台运营规划设计 (407)11.1平台价值 (407)11.2商业创新模式 (407)11.2.1 商业模式创新 (408)11.2.2 基于气象局云大数据的商业创新模式方向 (408)11.2.2.1 大数据环境下的数据对象洞察与营销策略 (408)11.2.2.2 基于大数据的商业模式类型 (409)11.3管理及运营支撑 (411)11.3.1 锁定信息化运营 (411)11.3.2 明确IT主体和业务主体 (411)11.3.3 用互联网数据打造第二轨，用数据分析平台完善第二轨 (411)11.3.4 高并发下的数据安全保障 (412)11.4运营体系规划 (413)11.4.1 打造第二轨数据资产管理，发挥数据价值 (413)11.4.2 完善组织架构，深入推进气象局大数据能力的建设和运营 (413)11.4.3 利用大数据处理架构，拓展大数据中心的建设思路 (414)11.4.4 区隔数据热度，建立数据资产管理和应用 (414)11.4.5 通过分层服务，向专业系统提供多样的数据分析服务 (414)第一章引言在气象行业内部，气象数据的价值已经和正在被深入挖掘着。