当前位置:文档之家› 企业大数据解决方案v1.02

企业大数据解决方案v1.02


企业数据仓库管理
移动数据管理 主数据管理
信息管理和实时数据迁移
通 用 数 据 管 理 环 境
无 线 数 据 管 理
企业内外部协同(供应商+企业内部+客 户+银行+税务+政府+社区+…)
外部信息(社交+电商+移 动+视音频+…)
Copyright© 2013 Zejia Consulting Corporation
Copyright© 2013 Zejia Consulting Corporation
第 20 页
@2013 北京泽佳公司版权所有
大数据解决方案特点
高性能
泽佳大数据解决方案提供高 速、低速两种互联解决方案, 在节点间能够建立起40Gb 的互联通路,彻底消除系统 节点间通信的瓶颈。
高可扩展性
相比较传统的数据库集群,泽佳大数据 解决方案具有良好的可扩展性,随着数 据节点的增加,系统整体性能接近线性 增加。同时数据节点可以在系统运行中 动态添加,对系统不会造成任何影响。 因此企业可以根据自身业务需要,动态 添加数据节点,当业务量较小时,配置 较少的数据节点,随着业务量的逐渐增 多,添加相应的数据节点,从而满足自 身业务量增长的需求。
Copyright© 2013 Zejia Consulting Corporation
第4页
@2013 北京泽佳公司版权所有
大数据的特性
沙里淘金,海量业 务中寻找价值。 1秒定律,实时获取 所需要的数据,为 决策提供依据。
68% 31%
价值 Veracity
速度 Velocity
大数据包括结构化 数据和非结构化数 据,邮件,Word,图 片,音频信息,视 频信息。
@2013 北京泽佳公司版权所有
Mid
流通
交通
零售
Low
Mid
High
Copyright©2013 Zejia Consulting Corporation
第 23 页
互联网行业大数据需求分析
互联网行业拥抱大数据的关键因素
网络终端设备 • 网络技术的 升级和终端 设备的爆发, 使今天的用 户能够使用 多种设备、 从不同位置、 通过多种手 段来接入互 联网,并在 这一过程中 不断创造新 内容
第 19 页
@2013 北京泽佳公司版权所有
Hadoop体系架构

Pig
Hive
ChuKwa

MapReduce
HBase
ZooKeeper
HDFS


Pig是一个基于Hadoop的大规模数据 分析平台,Pig为复杂的海量数据并 行计算提供了一个简易的操作和编 程接口。 Chukwa是基于Hadoop的集群监控系 统,由yahoo贡献。 Hive是基于Hadoop的一个工具,提 供完整的sql查询功能,可以将sql 语句转换为MapReduce任务进行运行 。 ZooKeeper:高效的,可扩展的协调 系统,存储和协调关键共享状态。 HBase是一个开源的,基于列存储模 型的分布式数据库。 HDFS是一个分布式文件系统。有着 高容错性的特点,并且设计用来部 署在低廉的硬件上,适合那些有着 超大数据集的应用程序。 MapReduce是一种编程模型,用于大 规模数据集(大于1TB)的并行运算
大数据隐私
Copyright© 2013 Zejia Consulting Corporation
第6页
@2013 北京泽佳公司版权所有
大数据和云计算的关系
商业模式驱动
应用需求驱动
云计算改变了IT,而大数据则改变了业务 云计算是大数据的IT基础,大数据须有云计算作为基础架构,才能高效运行 通过大数据的业务需求,为云计算的落地找到了实际应用
第 12 页
@2013 北京泽佳公司版权所有
IBM大数据解决方案体系
Copyright© 2013 Zejia Consulting Corporation
第 13 页
@2013 北京泽佳公司版权所有
SAP大数据解决方案体系
Copyright© 2013 Zejia Consulting Corporation
Machine/Device Sensors/meters/RFID tags CDR/mobile
互联网
物联网
供应链
大数据处理
移动终端
Copyright© 2013 Zejia Consulting Corporation
第 15 页
@2013 北京泽佳公司版权所有
泽佳大数据解决方案基础架构
大屏幕
分析
实时 决策
获取
组织
决策
Copyright© 2013 Zejia Consulting Corporation
第 18 页
@2013 北京泽佳公司版权所有
泽佳大数据应用主要技术— Hadoop
据IDC的预测,全球大数据市场2015年
将达170亿美元规模,市场发展前景很大。而
Hadoop作为新一代的架构和技术,因为有利 于并行分布处理 “大数据”而备受重视。 Apache Hadoop 是一个用java语言
第3页
@2013 北京泽佳公司版权所有
企业大数据势不可挡
Web 3.0时代,社交媒体网站数据出现井喷式激增,截至2013年3月 底,新浪微博注册用户数增长到5.36亿,日均活跃用户数达到4980万, 每日新增微博约2亿。 企业在大数据时代,面临文化、战略、组织、流程、信息化、公共 公关系、人才培养方方面面的挑战,同时也迎来重大的转型机遇和 飞跃契机。
第2页
@2013 北京泽佳公司版权所有
大数据时代已经来到
每分钟都有大量数据产生
70TB处 理数据
486笔订 单 (2012 年11月)
14万张 照片上 传
1min
7.3万笔 交易数 (2012 年双11) 1.1GB文 件下载 9.5万条 微博发 送
Copyright© 2013 Zejia Consulting Corporation
互联网 (电子 商务) 电信 金融
应用特点与大数据技 术有较高的契合度, 在主客观条件上也有 较高的应用可能性。 纵轴契合度: 表示该用户的IT应用 特点与大数据特性的 契合程度; 横轴应用可能性: 表示该用户出于主 客观因素在短期内 投资大数据的可能 性; 注: 该位置为分析师访谈 的综合印象,为定性 分析,图中位置不代 表具体数值 应用可能性
第 21 页
@2013 北京泽佳公司版权所有
大数据行业应用分析
大数据行业应用分析
契合度 值得关注行 业用户 应有特点与 大数据的契 合度及应用 可能性综合 较高 适当关注 行业用户 两个维度 暂时都不 具备优势, 可适当给 予关注
Low High
优先关注行业用户
政府(公共 事业) 医疗 制造
能源(电 力/石油 教育 )
@2013 北京泽佳公司版权所有
大数据的解决方案体系
Copyright© 2013 Zejia Consulting Corporation
第 11 页
@2013 北京泽佳公司版权所有
Oracle 解决方案体系
Copyright© 2013 Zejia Consulting Corporation
大数据时代,泽佳助力企业发展
数据无处不在
任何时间,任何地点,任何事情,任何人?
Anytime,anywhere,anything, anyone?
休息中,随意刷微博
爬山时,记录每一瞬 间
旅途中,处理公司事 件
工作时,实时掌握市 场动态
Copyright© 2013 Zejia Consulting Corporation
第 14 页
@2013 北京泽佳公司版权所有
泽佳大数据解决方案,以数据融合、综合处理为方向
大交易数据 大交互数据
SOCIAL MEDIA DATA OTHER INTERACTION DATA
企业
SNS
OLTP实时 交易处理
OLAP实 时分析处 理 大交易融合
消费者
SD,MM, PP,SD, FICO。。。
多样性 Variety
第5页
体量 Volume
最新研究报告,到 2020年,全球数据 使用量预计暴增44 倍,达到35.2ZB。
Copyright© 2013 Zejia Consulting Corporation
@2013 北京泽佳公司版权所有
企业大数据的挑战பைடு நூலகம்
提取大数据价值
业务数据的映射
大数据分析
泽佳建议的企业级大数据战略
大数据基础架构要求
获取
组织
分析
决策
高吞吐量 就地准备 所有数据源和结构
实时 流数据 运营影响 深度分析 敏捷开发 高度可伸缩性
可预测的低延迟 高事务参数 灵活的数据结构
Copyright© 2013 Zejia Consulting Corporation 第 10 页
在线应用和服务
互联网行业大数据分析面 临的主要问题
互联网行业对数据实时分析要求较高,例如 广告监测、B2C业务,往往要求在数秒内返回
与各垂直行业 的融合 • 互联网作为 一个高渗透 力的行业, 正在与各垂 直行业发生 深度的融合, 原本隐藏于 先下的孤岛 信息,源源 不断的输入 到线上。
• 越来越丰富 的在线应用 和服务,不 断激励用户 创造和分享 信息,尤其 是社会化媒 体业务,带 动图片、视 频等非结构 化数据飞速 增长
Copyright© 2013 Zejia Consulting Corporation
相关主题