当前位置:
文档之家› 第五讲:大数据应用案例分析-何利文
第五讲:大数据应用案例分析-何利文
•
品牌优势
–
CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策
日志
ASCII 格式数据
高性能数据管理系统支撑智能油田
关键特征
集成就绪、高性能、高可用、云服务、线性扩展、节能环保
经营 管理 数据 生产 管理 数据 结 构 化 数 据 源
(1) 钻井数据 (2) 油气生产数据 (3) 公用工程数据
ETL 生产指 挥系统 测井生 产管理 系统 运销 管理 系统 地理 … XX统建 信息 系统 系统 工程设 计集成 系统
一体 部署 资源 运维 化 云化 池化 简化
智能油田云平台部署方案
一体化运维管理平台(OEM 12C), RUEI Exalogic Exalogic
集成 适配器
CEP RTD BAM
– 财务、技术、流程
石油行业面临的挑战(5)
企业数据存储 - 海量数据
• 庞大的数据量
• 新的密集数据类型,诸如 微地震,电磁的以及分布 式温度传感器(DTS) • 半结构化和非结构化数据 的集成 • 保存实时数据 • 缺乏基于标准的工具软件
石油行业的现状问题分析
• 数据采集和分析经常 是人工手动的(信息 孤岛)
需要满足这些要求 …
有机制来分析大量的实时数据流… 提供智能的推荐… 建立在全部与资产相关的知识之上 … 使用熟悉的石油技术协作工具… 包含传统的解析、财务和运营数 据…
获得收益 …
针对更多的井做更快的分析… 及时地制定决策… 使用所有可利用的信息资产种类…
充分利用现有在石油专业应用上的 投资…
实现实时数据的整合… 从最具成本效益的供应商处…
• K -Means
信用卡客户细分的流程
信用卡客户细分建模过程
•
日均帐户余额
信用卡客户群特征总览
解决客户流失的一般过程
流失定义的重要性
-“失动作”与“流失意向”
课间休息十分钟!
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
过程 控制 数据
ETL
数据集成 适配器
ODI SOA/BPM
数据仓库
ETL
WebCenter
WLS/Coherence
元数据
中间件云平台
智能分析云平台
数据库云平台
非 结 构 化 数 据 源
视频 数据
数据集成 适配器 数据集成 适配器 数据集成 适配器
大数据 Big Data 云平台 云平台
NoSQL HDFS Hadoop w/ Loader Cloudera
大数据系统平台的总体架构
大数据决策
• 分析显示登革热爆发情况与天气/位置/洪水情况有密切的相关性 • 针对可能的高发地区制定相关的计划,在应对可能上升的登革热发病及其他传染病 • 和其他政府部门合作,改善洪水防治工作,减少潜在的蚊虫感染机会
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
高性能数据管理
引入Hadoop技术
高性能数据管理
传感器
传感器
RTU
钻井 数据
实时 钻井
井场 聚合器
Exalogic
WITSML 服务 OEP RTD BAM
Exadata
Exalytics
传感器
传感器
MTU/ DCS/ SCADA
OPC/UA, DA, WITS
历史数据
传感器
RTU
生产 数据
实时 生产
分阶段的架构演进路径分析方法
一种面向BI优化的治理实践
– 独立的BI能力中心(BICC)
BICC: Business Intelligence Competence Center
BI能力中心构建的框架
BI能力中心构建框架
– 人员技能与组织模型
提纲
1 2 3 4 5 6
大数据带来的挑战
大数据系统平台
采集 分析
“实时分析 和决策制定”
执行
• 缺乏对跨运营、技术、 财务方面数据的可视 性,因而难以制定及 时的运营、战术和战 略决策
• 各自独立的系统来支 持分离的资产团队 (不集成) • 有限的实时团队协作 • 批量分析工具不适用 于现代实时数据流
“总资产意识”
“及时执行”
油藏取征
钻井
生产
石油行业需要的解决方案
解决方案
• 采用自学习解决方案,分析实时数据和过往数 据来侦测不寻常的行为模式; • 系统设计足够快,可伸缩并且灵活; • 如有异常事件发生时,将通知操作人员,并给 出合理解释为何处理过程中该状态有些异样; • 通过给操作人员提供正确的知识,以正确的方 式展现,让其拥有坚实的理由采取措施/动作, 并且给工程师提供线索来判定什么导致了该异 样行为。
石油行业面临的挑战(2)
油藏取征 - 不堪重负
• 传统数据量呈指数增长: 地震,录井 • 需要将来自钻井现场的 实时数据代入到地球模 型中去 • 行业需要一个中立的集 成平台来避免供应商锁 定 • 爆炸解析和模拟结果的 管理
石油行业面临的挑战(3)
钻探 - 不再容易
• 需要在更困难,更公共的条 件下进行钻井作业
PRODML 服务
PPDM + 数据模型
第三方 应用
DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate
Essbase Hyperion OBIEE TimesTen
实时一体机
传感器
PPDM 一体机
分析一体机
•
软硬一体预集成
– 软硬一体,工程化调优
–
全集成系统,完整机柜,插电即 用
高性能数据管理 解决方案
历史数据
PRODML
模拟到数字
过程控制 或 数据采集系统
RTU = 远程控制单元 MTU = 主控制单元 DCS = 分散控制系统
高性能数据管理整体架构
针对上游的高性能数据管理解决方案
传感器
将实现传统解析数据基础上,获取和分析钻井及生产实时数据。
传感器
RTU
钻井 数据
实时 钻井
使用广泛接受的标准…
最低的总拥有成本
在一个成熟的,熟悉的IT基础设施 上
从传感器到数据库解决方案的数据流
• 高性能数据管理解决方案将充分使用现有的数 据获取基础设施
传感器
钻井数据
井场 聚合器
WITSML
传感器 传感器 传感器 传感器 传感器
RTU MTU/ DCS/ SCADA RTU
生产数据
Protocol TBD
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
-
大数据系统平台的总体架构
东南亚某国卫生部大数据应用
方案介绍
• • • •
Research Staffs Research Facilities Research Interests Collaboration Opportunity
Essbase Hyperion OBIEE TimesTen
实时一体机
传感器
PPDM 一体机
分析一体机
WITSML
PRODML
DLIS Loader
CEP = 复杂事件处理 BAM = 业务活动监控 RTD = 实时决策 井场信息传递标准 油气生产数据交换标准
SQL Loader
日志
ASCII 格式数据
大数据在医疗行业的应用 大数据在金融行业的应用 大数据在石化行业的应用 大数据在电商行业的应用
-
大数据在金融行业的应用
-从信用卡使用数据中寻找潜在购买理财产品的客户
• 构建客户细分的模型
寻找潜在购买理财产品的客户
客户细分的简介
客户细分模型介绍
客户细分的目标-刻画客户行为
客户细分模型的聚类算法
-
石油行业面临的挑战(1)
被数据淹没 - 太多、太快
• 钻头下的操作风险
– 对员工的危险: 在严寒地带,远离海岸 的地方钻井; – 监管者: 想更快获得更多信息。
• 不能分析远程地点正在发生 了什么,并将其分析共享给 井场 • 数据量的激增 • 实时数据被认为不可管理
– 来得太快; – 太多; – 目视进行分析,因为工具不存在。
应用场景- SIS(安全仪表系统)
• • • • SIS采用警报和再生气流量决定是否紧急关闭; SIS视流量在设定点,因为流量开关被破坏; 因为流量仍在设定点,高温也被视为合理; 当温度到太高的时候,SIS不能足够快地作出 反应,因为温度上升非常快; • 即使作出反应,也似乎太晚无法阻止管破裂, 或失控的火灾。
数据流逻辑图
NoSQL DB Simulator
模拟实时操作数据
Event Processing
• 燃料气开/关以控制加热炉内的温度; • 再生气流经加热炉内的管时被加热; • 燃料气开着的时候,再生气必须在流动,否则管 和加热炉将至危险温度; • 燃料也须通过控制器正确控制,维护加热炉内温 度恒定; • 此谓“温度流量串级控制回路”; • 紧急情况发生时,警报器通知SIS(安全仪表系统) 危险状况,SIS将酌情关闭点火器和燃料气。
Exadata Exadata
ODBC连接器
油田数据中心
APDM EPDM ETL
作业区 作业区综 作业区综 综合数 合数据库 合数据库 据库
DB企业版 数据挖掘选件 R企业版 空间数据库选件 GoldenGate
Exalytics Exalytics
Essbase Hyperion OBIEE TimesTen Endeca