当前位置:文档之家› 行业大数据解决方案

行业大数据解决方案


结构化 数据
实时计算 分布式平台
离线同步
关系数据库 结构化数据 离线计算 专题集市
数据应用
即席查询 OLAP 图表设计
元数据
其他集市
DreamBI&DreamData
DreamBI 负责 可视化展现
DreamData负责 大数据实时计算
一 二 三 四
大数据解决方案
典型用户及案例介绍
DreamBI
即席查询
数据采集
数据过滤 大数据中心
人事系统
业务系统 数据合并 外部数据(互联 网、网络爬虫)
驾驶舱
仪表盘 统计报表 预警提醒 分析预测社会公众Fra bibliotek业务人员
PC
企业
大数据基础架构
数据
存储服务 缓存服务 BI服务 服务流程引擎
集成
服务中间层
治理 质量
监控服务 容量规划
基 础 平 台
图片服务
消息服务
数据中间层
省 2013年1月-12月 原始记录 原始压缩 数(亿条) 文件个数 (个) 1.34 1.64 10.98 3.25 2.48 1.28 1.43 4.11 1.1 2.75 1.98 2.66 3.74 115 12 130 377 12 12 36 383 12 12 121 241 363 原始压缩 文件大小 (G) 2.47 3.25 13.00 6.85 3.55 2.87 2.37 8.06 2.10 3.23 3.30 3.58 6.87 解压缩后 文件大小 (G) 27.417 36.075 144.3 76.035 39.405 31.857 26.307 89.466 23.31 35.853 36.63 39.738 76.257 2014年1月-4月 原始记录 原始压缩 数(亿条) 文件个数 (个) 0.56 0.76 3.42 1.08 0.83 0.52 0.53 1.47 0.30 0.92 0.46 0.88 1.17 25 4 39 72 4 4 12 80 4 4 40 54 87 原始压缩文 件大小(G) 解压缩后文 件大小(G)
上海经侦总队:基于大数据的非法集资预警课题研究 保险行业公会:基于大数据的风险定价分析平台
典型客户
浦东新区发改委 浦东新区物价监督及决策服务平台
浦东新区能耗监测平台
山东烟草 分析型协同管理平台
江苏烟草
数据中心系统 航天三院 决策支持管理系统
高速公路大数据与公路货运统计
利用先进的大数据技术理念,
大数据解决方案
互联网+ 政务 互联网+ 干训 互联网+ 大数据 互联网+ 产业
一 二 三 四
大数据解决方案
典型用户及案例介绍
DreamBI
DreamData
大数据价值金字塔
•利用数据来提供服务、赚钱 •例如:与合作商或其他部门共享数据 价值
数据服务
•数据嵌入到日常业务工作流程 •例如:根据测算预警,自动启动预警流程 依赖数据
9.139 12.025 48.1 25.345 13.135 10.619 8.769 29.822 7.77 11.951 12.21 13.246 25.419
并加载13个省高速路收费站近50亿
条数据,实现针对车牌号码、出入 口站编号等查询条件的秒级查询,
提供可视化的在线分析展示,同时,
尝试结合开源统计分析语言(R语 言),实现对高速路收费站数据的 挖掘分析。
重庆
1.18
12
2.73
30.303
0.49
4
0.91
10.101
合计
39.92
1838
64.23
712.95
13.39
433
21.81
237.651
高速公路大数据与公路货运统计
利用DreamBI提供的基于R语言的 数据挖掘技术,实现对收费站数据的挖
掘分析
1.收费站网络关联性分析
数据资源 需求、任务
企业、社 会大众
业务培训
可视化产品
虚拟 货币
出版物 分析报告
信息服务
信息采集、 调查机构 或公司
咨询服务 公司、信 息公司
大数据分析与信息应用等培训机构
大数据业务架构
业务系统 大数据平台 业务分析 服务对象
决策层
移动
办公审批系统 财务系统 OLAP分析
数据整合与 清洗
部门负责人
日志服务 依赖分析
存储索引服务
调度服务
业务规则服务
分控系统
生命周期
数据库服务
配置服务
推送服务
应用管理
策略管理
运营 管理
自动部署
弹性伸缩
自动备份
多次容灾
流量管理
服务等级
虚拟 平台
云操作平台
应用层容器
安全审计
大数据平台架构
工作流调度
复杂事务 处理 实时同步 实时业务反馈
应用系统
数据服务 数据仓库
区域数据 集市 专题分析 信息推送 测算预警 专业数据集市
典型客户
工信部: “数据决策支撑系统”,集中实现“数据世界”、“数据中国”中工业和通信行业的信息分析展示 “信息产业数据展示平台”,信息产业运行监测及数据展示 上交所: “数据回放及金融大数据信息服务平台”,每天2亿条数据 “历史数据核心分析引擎大数据平台”,处理800亿条数据
上海建交委:“交通行业大数据平台”,每天采集处理7亿数据
依靠分布式的内存并行计算技术和 便于扩展的技术框架,以更低廉的 PC服务器代替费用昂贵、维护成本 高的小型机或数据库一体机,处理
安徽 福建 广东 河北 河南 湖北 湖南 江苏 江西 山东 陕西 上海 浙江
1.01 1.08 4.42 2.28 1.18 0.98 0.79 2.78 0.71 1.09 1.1 1.19 2.29
DreamData
典型客户
统计行业
为国家统计局上海调查总队建设“城乡一体化调查大数据处理平台” 配合国家统计局服务业司 完成“高速公路大数据与公路货运统计”课题研究 为上海市统计局建设“上海市统计数据仓库” 浦东发改委(统计局) 闵行区统计局 松江区统计局 宝山区统计局 为四川省统计局建设“四川省国民经济数据库”、 “四川省乡镇街道信息系统” 为广东省统计局建设“广东省统计数据资源管理与开发应用系统 ” 为无锡市统计局市建设“人口地理信息系统”
辅助决策
•通过数据做出决策 •例如:预警、测算、专题分析 用数据
• 准确、及时、完整看到数据
•例如:驾驶舱、统计报表 看数据
提高管理
让数据成为资产
信息资源
大数 据管 理与 分析 挖掘
决策更快、准
数据产品
精细化管理
价值
精细化应用
信息服务
专业领域研究
数据商店-数据与信息服务的价值体现
数据商店
行政企事 业单位
相关主题