当前位置:文档之家› 精益数据体系的数据中台架构

精益数据体系的数据中台架构

• 运营营销信息化 • 研发生产信息化 • 企业管理信息化
业务烟囱 创新乏力
信息数据化
• 从记录结果到记录过程 • 从副产品到精密设计 • 从决策支撑到数据驱动
计算存储落后 数据文化薄弱
数据资产化
• 打破烟囱,盘活资产 • 安全合规与治理 • 从量化到标准到优化
数据质量混乱 高投入低产出
资产变现化
• 数据平民化 • 数据服务化 • 数据智能化
对…自动决策
实现方式
周期报表/ad-hoc报表/自助式报表 被管理的查询/ad-hoc查询 OLAP/自助式分析 计分板 仪表板
事件监测/自动化消息 分析模型 仿真模型 数据挖掘模型模型 数据挖掘模型模型 预测模型
预测模型 规则模型/AL/ML模型
数据创新线
想法
合规
多团队,多目标的协作需求
• 业务人员 • 业务分析 • 数据科学
业务分析 • 应用埋点 • 运营分析
产品优化 • AB Test • 地理围栏
数据服务
营销服务 • 用户分层 • 标签画像
流程优化 • 业务根因
财务管控 • 多级管控 • 财务根因
CXO仪表盘 • 移动App
数据资产
DataGraph
• OneSearch • 数据字典 • 数据图谱
DataRank
指标口径变动100%管控 所有元数据信息一键快速查询 精准评估每一张表的数据影响和价值 数据开放率99.04% 隐私数据全脱敏,完备的权限管控机制, 数据泄露0事故
精细化建设 • 分级保障 • 数据图谱与数据中间层 • 成本优化 • 数据价值量化
核心数据5点产出(业内普遍7-8点) 开发效率提升35% 指导数据优化方向
智能数据图谱 – DataGraph
20%员工高频使用 系统性对外输出
敏捷数据治理 – DataRank
资产分从40到70
敏捷数据创新
非例行任务从 2k+到20k+
数据文化
150+次改进复盘,周活1700到5000+
数据基础设施+系统工具链:开始对外输出
滴滴数据系统组成
• 自助式自服务 • 高效率全方位 • 全链路能力覆盖
建立数据委员会,推进业务-运维-数据的 协同机制 一键埋点,用户行为轨迹全记录 数据采集秒级同步,准确性99.999% 数据链路全监控,自动定位关键节点

体系化建设
• 指标口径管理(数据字典) • 元数据(数据地图+OneSearch) • 资产价值评估体系(DataRank) • 数据开放 • 数据安全规范
智能数据图谱与目录 — 让数据越用越好用
• 统一的元数据检索能力,支持Hive、报表等 多种数据实体的统一搜索
• 基于数据价值或热度的综合排序 • 业务驱动的数据知识图谱 • 众包协作的知识沉淀
精益数据生产 — 让数据持续可信赖
3 2 1
稳定性建设 • 数据上下游联动(全链路SLA) • 埋点管理 • 数据采集 • 运维/质量监控 • 90%复盘率
• 数据工程 • 产品研发 • 人工智能
中台是企业内尊重客观业务规律的管理和治理结果
• 面向长期用户价值的分工与合作 • 中台是组织与体系建设的成果,是企业真正自有的独特
竞争力
滴滴交通大数据概况
滴滴概况 | 交通大数据
超过4500T B
每天处理数据
超过410亿
日均车辆定位数据
超200亿次
每日处理路径规划请求
新一代的数据湖方案 — 让数据不再深陷沼泽
分析师/BI
收到数据需求: 统计专快车分城市的 运营指标


据, 向提 需Fra bibliotek运营/业务人员

已有SQL模板,可以 自己分析数据了
网络的真正价值随联网人数呈指数级(2^N)增加
数据智能是互联网的商业内核
体验 与增长
反作弊 与安全
变现与利益共同体
数据智能
促进连接与互动 抑制网络负效应 建立利益分配机制
数据驱动的精益与敏捷
微笑曲线

创新研发

品牌



设计
售后服务 市场 物流

制造
突破产业微笑曲线
背后的发展规律与挑战
业务信息化
数据覆盖了交通路况、用户叫车信息、司机驾驶行为、车辆数据等多个维度
滴滴目前对15分钟后供需预测的准确度已经达到了85%
精益数据管理体系在滴滴实践
精益数据生产
价值链 • 数分级 • 强监控 • 定复盘 • 自働化 • 全链路
高价值、高可靠、高效率、低成本的 数据服务交付
智能数据图谱 发现、理解、信任、协作、众包
敏捷数据治理 数据资产、安全合规 服务驱动、全面量化、重点攻坚
数据文化 数据驱动,持续改进,尊重人
数据系统工具链 数据基础设施
敏捷数据创新
创新网 • 用结果 • 自配置 • 模仿做 • 自助化 • 知识网
两年来的成果
精益数据生产
D0级事故从 10+降为1
核心数据产出时间提 前到5点
价值交付 NPS从19%到60%
使用门槛高 变现效率低
从阿里数据中台说起
数据体系建设的核心困难
安全
数据生产线
数据
生产
质量、效率、成本 不可能三角
价值
分析
多场景,全链路的复杂需求
业务功能
…的通知 …的查询 分析…的行为 对…目标的追踪 对…现状的监视 对…发送/接受报警 检查…的替代品
仿真…的行为 探索…的模式和趋势 发现…中隐藏的洞见 预测…的未来状态 推荐关于…的决定
• 资产价值分 • 资产归属 • 资产优化
数据建设
• 数据全链路 • 分级保障 • 数据治理
数据赋能
自助查询
• 协助模板 • 查询加速 • 数据API
可视化分析
• 交互分析 • 报表、仪表盘 • Notebook
数据研发
开发工作台
• 数据开发 • 数据测试 • 数据发布
数据质量 • 监控 • 告警 • 运维
实时计算
• Flink • Woater • Druid
数据架构
Hadoop体系 • Hadoop • Hive • Spark
数据中间件
数据通道
• 实时采集 • 批采集 • Binlog采集
DataHub • kafka • ES
Key-Value & OLAP
• HBase • Presto • Clickhouse
精益数据体系的数据中台架构
网络效应是互联网业务的核心壁垒
直接类
• 物理网络:国家电网、中移动等 • 协议网络:比特币、网络协议等 • 个人网络:微信、Facebook、微博等 • 市场网络:淘宝等
双、Android等 • 规模渐进:滴滴、Uber等 • 社交文化:陌陌、Github等
相关主题