大数据解决方案
SaaS(软件)
统一访问门户
围绕三个维度:透明管控、
应用 生产类应用
透明管控
科学运营
价值创造
科学运营、价值创造 强调开放灵活:基于开放
PaaS(平台)
业务组件、应用开发平台、
数据模型 公共应用模型等构建,灵
统智总 部 目 标 集 中 生 产 系慧小区中即即即业云数间服服服务服据件务务务务平EBS组台生件O…整产DB集类体PSM1/数解M据决D指 体M方标 系案智组慧统 一 视 图件…小集2区云C分U服B析ED务类W平组数报 工…件台据表 具集整3体联 析解机 工分 具决近归方S线档D挖 工案区K掘 具智开…发慧E开 工T平小L发 具台区元 数 据 云生 管服元 管数 质 管 数 安 管命 控标务数 控据 量 控 据 全 控周准据平期管台控 整体活 部 实 与 安 周 推 采 点解支署标全期集存施行决撑和准、、储五五方个推、元一、项个案性广数数点一管一化据据加点控点应质、工分::用量数转析数一开、据换挖据点发数生、掘模源、据命一、型头
2. 省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求,同时要完成集团下发的IT规范要求
3. 未来省公司数据集中后,大数据平台将必须承担省分公司和总部的全部数据应用服务需求
省分公司当前数据应用需求
集团总部当前数据应用需求 集团领导
省公司领导
IT 部门
业务部门
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
计划
业务部门
IT部门
临时 支撑
计划 业务 支撑
计划IT 支撑需
集团下发 规范支撑
需求
计划IT 支撑需求
业务 支撑 需求
临时 支撑 需求
总部BI系统
需求
需求
求
• IT人力紧张
省公司经分系统
• IT系统扩容难
• IT投入效益难保障
大数据平台将面临 两大挑战
1. 平台开发方面:如何支撑急速增长的数据应用需求 2. 平台执行方面:如何保障海量大并发的数据访问需求和海量数
2019
大数据解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
IBM 大数据平台解决方案
智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
1. 项目背景理解
2
当前业务面临的挑战
数据问题
企业内数据定义缺失;数据项缺失 ;数据属性不完整; 企业外部数据无暇顾及;
管理类活动
流程
撑实现。 b. 应用—数据:应用和数据共同承接了业务,数据实体也承
执行类活动
接了应用交互,因此二者解耦的核心是数据实体。这可以
分析类活动
通过建立稳定的、弹性的企业企业级大数据模型、数据整 合与存储区域,保证未来应用对数据操作的可扩展,以及
角色
屏蔽了应用对底层数据直接访问的数据服务加以实现。
整合
整合 大数据的存储和管理
获取
获取
海量数据的快速分析
产生
海量数据的快速获取
获取
整合
获取
服务
整合
应用
服务
整合
与生产系统在功能和数 据分工上清晰合理
归档
追踪和反馈 决策结果
应用
快速的数据服务执行
归档
服务
简便的数据服务使用
应用
与生产系统的及时交互 决策执行业务活动中的数据支撑
做出选择
传达归和档执行决策 9
IaaS(资源)
一点服务提供
统一 IaaS服务接口
小型机 X86服务器 高端存储 中低端存储
网络资源
14
基于技术架构目标,加入大数据平台建设的驱动力
分析类系统应该建 立多少数据库,多
少种数据库
保证数据从省分及 时向集团提供准确
唯一数据
现存问题
……
在一个框架下有效
数据应用
支持5级体系的个 性化开发和共性开
获取 获取
产生
获取
整合
服务
应用
归档
数据准备
模型部署 归档
应用
服务
整合
获取 整合
服务
评估数据能够嵌入到模型评估中, 通过外部调用发现已经退化的模型
应用
获取 整合
服务
应用
归档 数据建模
归档
模型评估 10
大数据平台关键能力需求——应用开发与运行
1. 当前总部BI系统的数据应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求,以及IT 部门自身规划中的计划性支撑需求;
2. 大数据平台的核心是数据,从数据生命周期看,大数据的生成、获取、整合、服务、应用、归档各个步 骤分别有着不同的目标,并面临不同的问题
3. 从决策类活动过程和数据生命周期两个维度,对大数据平台的决策类活动的支撑能力需求进行分析
识别问题或 对决策的要求
分析和阐明方案
归档 应用
归档 应用
智慧小区云服务平台整体解决方案智慧小区服云务 服务平台整体解决方案智慧服务小区云服务平台整体解决方案
c. 应 现该用数层/数据面据分的—类解技耦术,:需系要统解组决件系承统接组了件应对用应和用数的据依,赖因,此可要通实 过建立应用开发平台、数据交换平台和数据管控平台来实 现。同时基于云计算的弹性扩展和虚拟化技术实现系统组 件与基础设施的解耦。
8
大数据平台能力需求分析——决策类业务活动
1. 决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断,从中选择并赋予实施的过程据诺 宾斯泰(Robenstein)将决策过程定义为五个步骤
1、由被动的IT支撑向主动的以数据为核心的IT服务转型
以大数据为核心组织IT服务能力 持续完善基础支撑能力 拥抱互联网 智慧小区云服务平架台构整体体解系决全方面案云智化慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
2、服务管控模式逐步完善
夯实基础管理 管控思路由简单支撑向精细服务转型 全面优化信息化服务流程实现分级服务
a. 业务—应用/数据:业务活动在业务架构和应用架构(大数据
市产客 客
数据应用 平台)间具有承上启下的作用,可从业务类型和业务活动类
……
场品户 户
型两个维度划分,前者体现业务差异,后者更多体现数据
营开管 洞
平台能力要求,且可以稳定地分为决策类、管理类、执行
智慧小区云服务平销台发 整决体策理 解类活决察 动方案智慧小区云服务平台整体类解和决分方析案类智四慧种小,区因云此服业务务平与台IT的整解体耦解可决从方四案类业务活动支
2. 大数据平台需求理解
7
大数据平台的关键需求
1. 结构化了企业架构中四大架构的关键要素,以及要素间的承接关系,形成了一套规范、清晰的定义,从而 为大数据平台的方案设计建立了更明确的指导依据和验证方法。
柔性架构的大数据平台
1.企业架构方法论和云计算技术让建立柔性架构成为可能,基于企业 架构元模型,建立柔性的架构需要实现业务、应用、数据、技术四个 架构层面的解耦。
中提取价值(value)
数据加工深入
1. 信息转换 2. 知识沉淀 3. 价值创造 4. ……
1. 结构化、非结构化 数据类型多 2. 静态、动态 3. ……
数据管理复杂
1. 在线、近线、离线 2. 高性能、低成本、
高质量、可追溯 3. ……
5
大数据应用价值可以从公司侧和客户侧体现
围绕大数据应用,促使公司实现科学运营、价值创造以及透明管控,一方面能使 得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升;另一方面, 能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。er的定义,大数据的特征具体涵盖了3V的内容: 1. 数据量庞大(Volume):从PB扩展到ZB;IT系统、互联网、物联网
等每天都在产生大量新生数据,过去的两年间产生的数据占到了所 有数据的90%
2. 数据变化快 (Velocity):数据变化与处理的频度由天加速到秒/毫秒; 订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在 不停的产生数据
3. 平台自生数据 数据范围广
数据服务对象全面
伴,供应链、政府部门等)
4. 外部互联网数据
3. 内部生产系统
5. ……
4. ……
数据成为公司核心资产和核心竞争力,将
数据规模大
10PB级+ 指数级快速增长
被设计用于在成本可承受 (economically)的条件下,通过快速 (velocity)采集、发现和分析,从大量 化(volumes)、多类别(variety)数据
据处理的性能要求
11
大数据平台关键能力需求——更直接的决策支持
当前BI系统
未来大数据平台
数字仪表板 固定报表应用
1. 模型的建立基于预先假设 2. 模型所需数据事先确定已知 3. 模型是静态的 模型的数学形式很完善,但
往往不能符合实际业务情况
输入 参数
数据挖掘 模型
最优解 绩效度量
随机输入 量
输 终端 入 补充量Q 参 数
大数据平台能力需求分析——分析类业务活动
1. 分析类活动是通过对数据的深入分析,力求取得更深刻业务洞察的过程,参考DM-CRISP数据挖掘方法 论,包括业务理解、数据理解、数据准备、数据建模、模型评估和模型部署六个步骤
业务理解
数据理解
归档
归档
应用
应用 服务
服务
智慧小区云服务平台整体解决方案智慧小区云服整务合平台整体解决整方合案智慧小区云服务平台整体解决方案
数据在多个系统中重复采集、重复 存储;
•没有准确数据支撑 •难以进行深度分析 •决策缺乏可靠依据