Velocity
速
6000万用户登录/天
20亿次 页面访问/天 每天1.2亿次网站访问 响应时间小于100毫秒
高
由于输入速度加快，所以要求输出速 度也要 加快
大数据的惊人不止是在数量上，同时 数据还 是巨量 具有动 态分析 价值的 数据。 访问响应时间的加快，数据库读写速 度的加 快，对 电商企 业来说 就等于 多成交 。 对于很多情况下，动态的数据价值远 大于静 态数据 ，比如 气象预 测，灾 难预测 ，快消 行业等 。
Big Data
什么是大数据
大数据 VS 物联网
物联网是大数据的流程中的第一层
物联网网关以上就进入了大数据工作 范畴。 局部域内的物联网应用解决方案等同 于这个 域内的 大数据 系统
采集层
Big Data
什么是大数据
大数据原理和构成
大数据的核心工作思 路
大数据系统颠覆了传统数据中心的工 作逻辑
1 TB = 1024GB
100万 G
1 PB = 1024TB = 1,048,576 GB
10亿 G
1 EB = 1024PB = 1,073,741,824 GB
1万亿 G
1 ZB = 1024EB = 1,099,511,627,776 GB
2100台 215万台 22亿台 500G硬盘电脑
Hadoop
HDFS
节点灵活调整 在任务执行中任何时候可任意添加节 点
NoSQL
SAP HANA
Hadoop 的升级
内存计算技术 真正的海量数据瞬间分析
内存数据库
15寸电脑排成行可以往返一次月球
Big Data
什么是大数据
Volume 海量
1 PB = 1024TB = 1,048,576 GB 1 EB = 1024PB = 1,073,741,824 GB 1 ZB = 1024EB = 1,099,511,627,776 GB
Intel：人类文明开始到2003年 地球共产生了5EB数据. 2012年全年，全球产生数据2.7ZB 是 2003年以前的500倍 2015年，全球估计产生数据8ZB，等于 1800万 个美国 国会图 书馆
Big Data
什么是大数据
Variety 多样
数 据：
结构化数据
指关系型数据表
半结构化数据 指关系结构与内容混合在一起的数据 类型
Big Data
什么是大数据
非结构化数据
文档、视频、音频、图片
20% 结构化 80非结构化
企业数据
2012年互联网产生的数据
25% 结构化 75非结构化 50%-70%源于人与人的互动
化 的生活 ，商业 环境。
Web 2.0时代的解决方案
大数据的目的
原始数据的处理和分类存储 将存储的数据调取并分析 最终提供决策依据
大数据的特点
4V
归类数据类 型 有效分析组 合
海量
多样
Big Data
什么是大数据
高速 精确
存储单位
1 KB = 1024字节
1 MB = 1024 KB
1 GB = 1024MB
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨
数据系统 大到无由多个软件、硬件部分组成的一个 法透过目前主流软件工具，在合理时间内达到撷取、管理、
处理、并整理成为帮助企业经营决策更积极目的的资讯
数据
是关于
的运输和处理，以及最后有效 使用的 体系
海量数据
有别于传统企业数据中心，用来应对 现代
大数据
什么是大数据 大数据原理和构 成 大数据应用 大数据价值
Big Data
目录
什么是大数据
机器学习 可视化
数据流
AM
D 数据
预测
Big Data
什么是大数据
数据库
运算节 点
Big Data
什么是大数据
一个执行体系
不是一个行业，而是一种新的数据处 理方法
与云计算一样 都是一种新的生产组织形式
Veracity 准确
Big Data
什么是大数据
基础数据的真实准确性，才能保证结 果的有 效性。
准确源自于对全部数据的处理分析
大数据的核心思想之一
大数据 VS 云计算
两者都是生产方式改变为主，生产资 料改变 为辅， 提高生 产效率 。
云计算是将计算和存储，由本地转移 到了云 端。 大数据则是提供了一套新的计算和存 储工作 原理。 二者有本质的不同，但却是一个完整 的体系 。大数 据可以 是云计 算的心 脏，云 计算是 大数据 服务的 通路。
2000年 数字信息占全球数据量的25% 75%都在报纸 胶片 磁带等媒介
2013年 数字信息 98%
非数字信息 2%
44%
35 ZB
Big Data
什么是大数据
商业数据现状
Twitter
2007年 5000条微博更新/天 2008年 30万条微博更新/天 2009年 250万条微博更新/天 2010年 3500万条微博更新/天 2011年 2亿条微博更新/天 2013年 4亿条微博更新/天
2013年 上传时长12年的视频/天 2013年 用户分享25亿条信息/天
智能移动终端设备的巨量增长
我国一个一线城市的健康档案数据 5PB/年 我国一个智慧城市的数据 800 PB/年
Big Data
什么是大数据
一个单数据表几亿-几百亿条记录
下线商品14亿件，在线商品8亿件
淘宝数据库存了20PB数据 平均每月增加1.5PB
数据调用请求
数据库集群
DB
DB
数据adoop核 心子项目
Hadoop 软件框架
Mapreduce
HBase
Big Data
大数据原理和 构成
HDFS
Hadoop系统工作原 理
Big Data
大数据原理和 构成
Hadoop系统构架
Big Data
大数据原理和 构成
Big Data
大数据原理和 构成
传统数据系统工作逻辑：
运算系统调动数据库的数据，数据的移
动。
大数据系统工作逻辑：
运算系统直接部署至数据处，数据仅架构内移动。
传统数据系统工作原 理
客户
访 问 请
求
客户
客户 客户
互
路
联
由
网
器
客户
客户
负 载 均 衡
结 果 反 馈
Big Data
大数据原理和 构成
服 务 器 集 群
存储与数据库的比较
传统数据中心
RAID出现坏盘后，重建阵 列需要十多个小时，这在 大数据时代是无法接受的
JOBD
RAID
存储系统
某已分配任务出错，该计算必须重新 执行 节点相对固定，扩展时会造成无法访 问
平
容错性
行
计
算 系
扩展性
统
SQL
数据类型
Map Reduce
Big Data
大数据原理和 构成