大数据的时代背景
大数据时代的背景
半个世纨以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到 了一个开始引发变革的程度。它丌仁使世界充斥着比以往更多的信息，而且其 增长速度也在加快。互联网（社交、搜索、电商）、秱劢互联网（微博）、物 联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银 行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。
• 全球进入ZB时代
–2010年全球数据量达到 1 ZB –2011年全球数据量达到 2 ZB –2020年将可能达到 1000 ZB
• “数据太多，知识太少”
– 传统数据分析方式无法进行辨 析和处理，只有“大数据应用” 才能从数据汇聚到知识生成
*注：
1 ZB = 1024 EB 1 EB = 1024 PB 1 PB = 1024 TB 1 TB = 1024 GB
国内大数据计划
国内各地制定云计算“十二五”规划
云计算、物联网园区
中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政 绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。 云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括 的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘 20和15年分8月析4的日星技期术二 发展，我们即将步入基于大数据的智能化时代。
大数据的营销案例
一、未卜先知怀孕案例
关键环节三：建立和用户沟通渠道 那么，顾客收到这样的广告会不会吓坏了呢？Target很聪明地避免了这
种情况，它把孕妇用品的优惠广告夹杂在其他一大堆与怀孕不相关的商品优 惠广告当中，这样顾客就不知道Target知道她怀孕了
大数据的营销案例
一、未卜先知怀孕案例
Target取得的成就：
大数据时代的背景
20世纨90年代，数据仓库乊父的Bill Inmon就经常 提及Big Data。
2011年5月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。
什么是大数据？
6
大数据的4V特征
Volume （体量巨大）
数据量将增长几百倍 巨量数据存储技术
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，戒者说，只有具备这些特点的数据，才是大数据。
14
丌同“看”数据的方式（ Variety ）
可视：结构化资料 15% DB/DW
未视：半/非结构化数据 85%
主管们看的 战情数位仪表板 ，其实是残缺的
明星庖铺（活劢）
日UV100万 每日参不活劢人数100万 活劢覆盖人数超过500万
淘宝达人
资深购物达人1000人 每日优质网评500篇
SNS营销平台（店铺主页+基于关系癿口碑传播）
阿里集团（2/2)－面向外部用户的收费数据产品
大数据行业应用
契合度
值得关注行业 用户
应有特点与大 High 数据的契合度 及应用可能性 综合较高
Value 价值
• 挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息. • 价值密度低,是大数据的一个典型特征.
大数据的4V特征
体量Volume
非结构化数据的超大规模和增长
• 占总数据量的80~90% • 比结构化数据增长快10倍到50倍 • 是传统数据仓库的10倍到50倍
多样性Variety
…
谁最先发现大数据的价值？
• 传统企业难以理解消费者
• 以新浪微博、facebook为代 表的互联网公司天然的了解 网民
海量数据早已涌现，但是从海量数据中挖掘价值，始于互联网公司！
大数据的主要价值
互联网公司日益重视大数据的应用 即时通讯
网绚购物
社交网绚
通讯、购物、社交、电子商务等业务产生 癿数据在互联网上呈爆炸性增长
大部分是非结构化数据 非结构化数据处理技术
Variety （类型繁多）
Velocity (实时处理)
通常要求在几秒响应 实时数据处理技术
大数据
数据价值密度低 新型数据挖掘技术
Value （价值密度低）
全球数据大爆炸，大数据时代来临（ Volume ）
随着秱劢互联网、云计算、物联网技术和业务癿发展，数据呈爆炸性增长
客户资料 财务数据 订单数据 物资数据 产品数据 客户账单
……
实时监控视频
价值密度由高到低
大数据
Velocity 速度
• 1s 是临界点.
• 对于大数据应用而言,必须要在1秒钟内形成答案,否则处理 结果就是过时和无效的.
• 实时处理的要求,是区别大数据引用和传统数据仓库技 术,BI技术的关键差别之一.
地理分析：户外广告、付费搜索评估
大数据的营销案例
一、未卜先知怀孕案例
塔吉特：比父亲更早知道女儿怀孕 曾经有一位男性顾客到一家塔吉特超市店中投诉，商店竟然给他还 在读书的女儿寄婴儿用品的优惠券。这家全美第二大零售商，会搞 出如此大的乌龙？但经过这位父亲与女儿进一步沟通，才发现自己 女儿真的已经怀孕了。
众包、知
挖 掘 分
•
城市大数据知 识图谱、 识图谱构建 情境感知
析可行•性城挖市 掘大与数分获据析的取融合
表示度量
理论
劣质容忍
定量度量
能耗数学原理
能效优 化
能耗复 杂性
能耗机
结构化数据资源
半结构化/非结构化数据资源 理
数 据
大规模多源异构数据
获
取
大数据医疗应用
医疗行业产生的数据量 主要来自于PACS影像、B 超、病理分析等业务所产 生的非结构化数据。人体 不同部位、不同专科影像 的数据文件大小不一， PACS网络存储和传输要采 取不同策略。面对大数 据，医疗行业遇到前所未 有的挑战和机遇。
医疗行业大数据应用场 景非常多，右图仅以临床 操作和研发为例，展示医 疗行业大数据应用场景。
对于公共卫生部门，可 以通过过覆盖全国的患者 电子病历数据库，快速检 测传染病，进行全面的疫 情监测，并通过集成疾病 监测和响应程序，快速进 行响应。
临床操作 研发
医疗数据透明度 远程病人监控
临床决策支持系统 比较效果研究 预测建模 疾病模式的分析
大数据的营销案例
一、未卜先知怀孕案例
关键环节二：数Target有一个迎婴聚会(baby shower)的登记表。 Andrew Pole开始对这些登记表里的顾客的消费数据进行建模分析，不久就 发现了许多非常有用的数据模式。比如模型发现，许多孕妇在第2个妊娠期 的开始会买许多大包装的无香味护手霜;在怀孕的最初20周大量购买补充钙、 镁、锌的善存片之类的保健品。最后Andrew Pole选出了25种典型商品的消 费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差 范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发 给顾客。
大数据主要来源于互联网、秱劢互联 网等，比如图片、文本、音频、视频 等非结构化数据。
传统数据的数据量足够大时，我们也 把它称乊为大数据，比如信令、DPI 数据等。
结构化数据、非结构化数据定义：结构化数据是能够用数据库 二维表来逻辑表达的数据；其他为非结构化数据。
视频文件 上网行为数据
传统数据
困扰互联网公司最大癿难题是如何更加了 解他癿客户：“你是谁，你想要什么？”
互联网公司首先尝试大数据技术分析用户 行为，深入洞察客户，促进互联网业务发 展
IBM调查显示：国内外 CEO 们一致认
为客户洞察是未来 3~5 年内最需要投资癿 领域， CEO们需要借劣大数据挖掘来深入 洞察客户，进而以通
路况经验模型
北京出租车数据（100亿） 用户兴趣点数据（3千万） ……
路况实时模型
实时路况 用户共享(滴滴等) ……
28
分 • 实时智能交通
析 决 策
• 城市设施规划 • 移动用户分析
抽样邻域理论
城 市
总体研究方案
知识提取
情境感知
大 数 据
可行•性城市大数据深 算法 度理解与融合
麦肯锡全球研究机构发布，认为大数据是 创新、竞争和生产力的下一个前沿领域， 数据将会给社会带来更大癿价值。
什么是半结构化/非结构化数据（ Variety ）
大数据不传统数据的差异（ Variety ）
传统数据主要来自于业务运营支撑系 统、企业管理系统等，比如财务收入 、业务发展量等结构化数据；
每个ID号还会对号入座的记录下你的人口统计信息：年龄、是否已婚、是 否有子女、所住市区、住址离Target的车程、薪水情况、最近是否搬过 家、钱包里的信用卡情况、常访问的网址等等。Target还可以从其他相关 机构那里购买你的其他信息：种族、就业史、喜欢读的杂志、破产记录、 婚姻史、购房记录、求学记录、阅读习惯等等。乍一看，你会觉得这些数 据毫无意义，但在Andrew Pole和顾客数据分析部的手里，这些看似无用 的数据便爆发了前述强劲的威力
根据Andrew Pole的大数据模型,Target制订了全新的广告营销方案， 结果Target的孕期用品销售呈现了爆炸性的增长。Andrew Pole的大数据分 析技术从孕妇这个细分顾客群开始向其他各种细分客户群推广，从Andrew Pole加入Target的2002年到2010年间，Target的销售额从440亿美元增长到 了670亿美元。
提问： 为什么塔吉特能知道这个用户怀孕了？必须有哪几个关键环节 A：用户数据收集 B：怀孕特征库 C：怀孕潜在用户筛选
塔吉特在和顾客沟通过程中采用了哪种营销方式 A：电子邮件 B：直邮 C：电话营销 D：数据库营销