大数据的展现方式
大数据的展现方式
新模式正在出现
新平台技术
▪ 基于SQL语言: 面对
OLAP的传统行和列 数据入 口/汇聚
不同范围的服务
新的传输方案
▪ 前提：传统交付模式 - 单片或
基于设备的解决方案
▪ 云: 能够充分利用物理设施的 ▪ 不基于SQL或mapreduce的: 由谷歌率先 发起 数据平台
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据 = 海量数据 + 复杂类型的数据处理方法
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
•
大数据技术：
• • • • 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等
• •
解决方案：
大数据相关技术
能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。语义分析技术、 图文转换技术、模式识别技术、地理信息技术等等，都在大数据分析时获得应用。
展现方式：大型控制中心、移动终端
在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和 移动终端，实现数据的实时处理和快速决策。
大数据的重要性
大数据为什么重要？决定企业 是否有未来、业务可延伸范围
更高一层数据层面整合企业内外部
挖掘内部需求
经过大数据改造的IT不再是一个冷冰冰的系统，而变成了推动业务发展，挖掘 客户内心需求的真正推动剂；大数据将催生更多的应用领域需求。
鲁麦卡菲对北美33家上市公司的高管进行了结
构性访谈之后发现：运用大数据做决策的那些 行业领先企业，比其竞争对手在产能上高5%，
利润上高6%。
大数据相关技术
分析技术：
• • • • 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域 占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真
IBM
IBM的策略是提供一个全面的方法来解决前所未有的信息爆 炸提出的挑战，因为信息量无论在流量、种类、速度还是活 力上都是爆炸式增长 IBM一直致力于扩大对包括数据仓库中的大数据、信息流和 结构化数据的分析 在过去四年中，IBM已经投入超过120亿美元进行了23项相 关并购，其中包括： • 2010年9月收购数据库分析供应商Netezza公司，花费17 亿美元 • 2010年10月收购网络分析软件供应商Coremetrics • 2009年10月收购数据分析和统计软件提供商SPSS, 花费 12亿美元 • 2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4 千万美元 • 2007年花费20亿美元收购商务智能软件供应商Cognos
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
想驾驭这庞大的数据，我 们必须了解大数据的特征。
数据量增加
数据结构日趋复杂
大量新数据源的出现则导致了非结构
化、半结构化数据爆发式的增长
根据IDC 监测，人类产生的数据量正在呈指数级增 长，大约每两年翻一番，这个速度在2020 年之前 会继续保持下去。这意味着人类在最近两年产生的 数据量相当于之前产生的全部数据量
…
电子商务
facebook
社交网络
淘宝、 ebuy
…
移动互联
21世纪是数据信息大发展的时 代，移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、 保险）、电信（通话、短信）都在疯 狂产生着数据。
中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政 绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。 云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括 的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘 和分析的技术发展，我们即将步入基于大数据的智能化时代。
存储
• • 结构化数据： 海量数据的查询、统计、更新等操作效 率低 非结构化数据 图片、视频、word、pdf、ppt等文件存 储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储 Hadoop（MapReduce技术） 流计算（twitter的storm和yahoo！的S4）
大数据的产生及概念
什么是大数据？ 海量数据本身+处理方法
大数据时代的背景
“大数据”的诞生
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经 积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的 信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学， 创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类 发展的领域中。
*
…
微博、 Apps
网上1分钟，人间1万年
物联网加速大数据的发展
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据麦肯锡全球研究院（ MGI）估计， 全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，而消费者在PC和 笔记本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的 4000多倍。事实上，我们如今产生如此多的数据，以至于根本不可能全部存储下来。例如， 医疗卫生提供商会处理掉他们所产生的90%的数据（比如手术过程中产生的几乎所有实时视 频图像）。
理解大数据
理解大数据
大数据不仅仅是“大”
多大？ 至少PB级
比大更重要的是 数据的复杂性， 有时甚至大数据 中的小数据如一 条微博就具有颠 覆性的价值
*
理解大数据
软件是大数据的引擎
*
理解大数据
大数据的应用不仅仅是精准营销
通过用户行为分析实现精准营销是大数据的典型 应用，但是大数据在各行各业特别是公共服务领 域具有广阔的应用前景
指数型增长的海量数据
地球上至今总共的数据量：
在2006 年，个人用户才刚刚迈进TB时代， 全球一共新产生了约180EB的数据；
TB
GB
ZB EB PB
在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增 长44 倍，达到35.2ZB（1ZB=10 亿TB）！
TB PB EB ZB
这些由我们创造的信息背后产生的这些数据早已经远远超越了目前 人力所能处理的范数据是指社会生产生活和管理服务过程中形成的，依托现代信息技术采集、传输、 汇总的，超过传统数据系统处理能力的数据，具有数据量大、数据类型多、处理速度 快的特点，通过整合共享、交叉复用、提取分析可获取新知识，创造新价值。
国外已经开始大规模投资应用
美国国务院采用大数据技术开发新的美 国护照系统。
IBM宣布投资1亿美元用于大数据研究；
美国IT公司开始意识到大数据技术能够 为公司创造价值；
大数据公司引入汽车行业高管人员扩展 营销业务；
大数据在国内的机遇
云计算、物联网从政绩工程变成实用工程
国内各地制定云计算“十二五”规划 云计算、物联网园区
产生新的用户量、给用户产生行为指纹
用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网 企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记 录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这 是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平 台级公司的附庸。
大数据的4V特征
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低 （Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才 是大数据。
理解大数据
密不可分的大数据与云计算
大数据是落地的云
商业模式驱动
应用需求驱动
云计算本身也是大数据的一种业务模式
大数据国外发展情况
国外发展情况：万马奔腾，抢 占大数据高地
衍生于亚马逊、Google等互联网公司
互联网越来越智能
Google精确掌握用户行为、获取需求
Facebook用户 产生内容，创造 需求。
Google分析用 户搜索信息，满 足用户需求 雅虎提供静态的 导航信息
前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。 它在满足你需求的同时，也在创造新的需求。前者的代表是 Google，后者的典型则是 Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的 行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理 解就越深入，他的广告就越精准。广告的价值就越高。 这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告， 找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。