人大金仓大数据平台解 决方案32
2020年5月31日星期日
目录
•1 •建设背景及目 •2 •标平台规划及架构
•3 •平台建设内容 •4 •建设策略与方法 •5 •成功案列
大数据发展意义
•（一）大数据成为推动经济转型发展 的新动力。 •（二）大数据成为重塑国家竞争优势 的新机遇。 •（三）大数据成为提升政府治理能力 的新途径。
支持 OLTP 和 OLAP两种典型应用场景，使党政 军及企业 级应用在处理业务的同时具有大数据分 析 能力,可以有效构建100TB-PB级海量云数据中 心。
采用Share-Nothing架构，包括负载均衡节点、 协调节点、存储执行节点 和全局事务管理节点四 大组件，每个组件均可以根据实际情况按需添加 。
•Smartbi 信息交付门户（在线报表、报告、仪表盘）
• Smartbi d
•Smartbi 数据 录
•3rd SDK
•3rd Tool
•Smartbi BI处理引擎
• Smartbi •xQuery
•灵活报表 决策仪表盘 多维分析 地图分析
任务
•统一语义模型
•+ •+
•+ •+ •
•监控视频
•多维数据库
•关系表
•R语言 •高级分析
•
•内置数据挖 据
掘算法
处
理
•外部表
•结构化数据
•数
•非结构化数据
据
HDFS
存
储
大数据平台建设内容
统一应用平台 应用架构设计 典型应用（管理驾驶
KingbaseSmartBI — 应用功能体系
•所有 •访问终
端
• Smartbi Mobile
• Smartbi Office Addin（开发）
•灾备与恢复
•通信网络
•主机
•存储
•基础设施
•操作系统
•数据库
• 大数据管理平台架构
•数据采集
•云平台
•业务 •数据
•Oracle
•E
•T
•DB2
•L
•MangoD
B
•……
•数据交 换
•信息共 享
• Smartbi dataIn • Smartbi Mobile
•数据 •应用
•数
•KingbaseSmartBI
数据管控体系框架
•数据整合域 •数据集中
•实时数据集中 •批量数据集中 •数据集中策略
•数据整合
•数据整合模型 •数据转换与清洗
•数据加工
•数据存储
•数据标准
•标准定义 •标准映射 •标准执行 •标准维护
•元数据
•业务 •元数据
•技术 •元数据
•元数据 •维护
•元数据 •应用
•数据管控域 •技术体系
•结构化及非结构化数据 •非实时采集
•流数据 •实时采集
•体制与机制
•规范与流程
•结构化数据仓库
•非结构化数据 •分布式存储集群
•分析数据集 市
•配置与变更
•系统运维 •调度与监控
•数据共 享
•数据交 换
•数据分 发
•数据分 析
•门户 •管理驾驶舱 •查询/检索 •统计分析 •预警告警 •数据挖掘 •大数据分析
•支持主流的国内外操作系统 •Windows 系列/Linux系列
•Oracle •KingbaseES
•MySQL
大数据平台建设内容
数据库软件平台 数据架构设计 数据模型设计
KingbaseDBCloud — 系统架构
KingbaseDBCloud是顺应大数据和云计算时代 PB级海量数据处理而推出的高性 能、高可用、高 扩展和支持全局事务的并 行分布式云数据库系统 。
•新一代信息技术和服务
大数据平台的建设目标
•建设内容
•1
•数据集中与整合
•2
•数据存储与处理
•3
•数据交换与共享
•4
•数据管控与治理
•大数据 •平台
•建设目的
•资源整合、信息共享、业务 •形成国家政府数据统一开放 •提高服务能力与水平 •促进创新服务优化管理 •提升决策和风险防范水平 •提高社会治理的精准性和有
• 工信部在《基于云计算的电子政务公共平 计指南》中明确提出，要求“各地充分发挥既 用和新一代信息技术潜能，积极开展基于云计 政务公共平台顶层设计，继续深化电子政务应 提升电子政务服务能力和水平，进一步提高电 展质量”。
•大数据： •1、容量大 •2、类型多 •3、存取速度快 •4、应用价值高
•数据采集 •数据存储 •关联分析
目录
•1 •建设背景及目标
•2 •平台规划及架构
•3 •平台建设内容 •4 •建设策略与方法 •5 •成功案列
• 大数据管理平台规划
•信息源
•数据资产管理规 划
•数据资源
•数据中心整体架 构
•数据标准
•统一规划与运营
•数据管理 •元数据
•实施路线图规划 •数据质量
•数据采集
•数据存储
•数据服务
•应用功能
据
•数据 •多维 •灵活
•分
挖掘 分析 •报表
析
•KingbaseDBCloud
•决策 仪
•表盘
•地图 •分析
•数
据 •自助 •分 分析 析
•MPP
•标准应用接口JDBC、ODBC等
•数
据
•并行 •水平分区
•R语言
•内置数据 计
SQL
•垂直分区 •高级分析
挖掘算法 算
•关系表
•结构化数 据
•外部表
•数
Байду номын сангаас
•关系数据 库
•Nosql数据库
•数据仓库
•Smartbi绝不是个报表设计器，而是个集成、扩展的平
直观的图形展现
• 表现形式丰富：内置全国地图（到区县级）、表格、油量图、泡泡图 地图、柱图、饼图、曲线图等丰富的数据展示形式
• 动态画图效果，生动形象
大数据平台建设内容
数据管控体系框架 数据标准 数据质量 元数据
在KingbaseDBCloud架构基础上，增加对HDFS 文件存储的支持，实现SQL和NoSQL统一访问接 口，同时支持SQL和NoSQL查询处理
KingbaseDBCloud-系统功能
•KingbaseDBCloud
•数据共享（标准应用接口JDBC、ODBC等）
•MPP
•并行 SQL
•水平分区 •垂直分区
据
•非结构化数
存
据HDFS
储
目录
•1 •背景及目标 •2 •平台规划及架构
•3 •平台建设内容
•4 •建设策略与方法 •5 •成功案列
大数据平台建设内容
ETL架构与工具 数据库软件平台
仓ETL流程结构图
•Kingbase
金仓ETL — 全面的数据访问与平台支撑
•支持符合ODBC/JDBC •接口规范的46种数据库系统
•数据质量
•数据质量指标体系
•数据质量检核
•数据质量分析
•数据质量改进
•数据安全
•统一认证 •权限管理 •数据防护 •安全审计
•组织体系
•组织架构
•角色 •与技能
•分工 •与职责
•管理体系
•制度