新技术基础知识介绍大数据
VS
百丽(BeLLe) 诺基亚(Nokia) 爱立信(Ericsson) 柯达(Kodak) 摩立特(Monitor) 雅虎(Yahoo)
业绩领先企业
红领 华为 海尔 BAT/J、新美大、OfO Amazon Google
7
对新技术的理解和运用,正是数字化转型的基础
A:人工智能
▪ 咨询公司:大数据是在互联网、云计算、移动、社交等技 术飞速发展的背景下,产生的需要新的技术和能力才能经 济地处理的,具有规模大、速度快、多样性及价值密度低 等特点的各类数据资产。
实际上,今天业界在谈大数据时,更多是指:在大规模数据的基 础之上,可以做到的事情,而这些事情在小规模数据的基础上是 无法完成的。 --大数据现已成为人们获得新的认知、创造新的价值的途径 --大数据时代对我们的思维方式提出了挑战
B:区块链
C:云
D:大数据
IoT:物联网
• 智能制造、供应链 • 智能财务、HR • 智能营销 • 智能决策
• 智能合约 • 共享账本 • 鉴证证明 • 数字资产
• 外部协同在云端 • 内部协同在云端 • 信息存储在云端 • 基础设施在云端
• 大数据市场分析 • 大数据精准营销 • 大数据精细管理 • 大数据智能决策
大数据的相关关系,而不强调因果关系;(舍恩伯 格),其实这个只是一种对无法探究因果的妥协,人 类应该去探寻因果,因为世界存在客观的运转规律;
更杂
不是精确性而是混杂性, 在大数据 环境中,更重要的是发现事物变化 的趋势,在一定程度上,不追求数
据的精度。
更好
不是因果关系而是相关关系,大 数据的核心是预测,相关关系是 大数据预测的关键,揭示“是什
么”,而不是“为什么”
来源:维克托·迈尔-舍恩伯格,英,数据科学的技术权威 13
典型事例,对相关性的追求
• 审查每天5百万的交易活动用以确定潜在的欺诈行为。 • 实时分析每天5亿次的通话记录用以更快的分析及预测客户的流失。
• 大数据包括任何结构化的、非结构化类型的数据,例如:文本、传感器数据、 音频、视频、点击流量以及日志文件等等。综合分析这些数据,有利于提高 企业的洞察力。
• 从成千上万个实时监控摄像头中发现价值信息点。 • 以80%的数据,图像,视频和文件增长的优势,提高客户满意度。
• 随着物联网的广泛应用,信息感知无处不在,信息的获取成几何式增长,但 价值密度较低。
• 通过使用先进的技术能更迅速地完成数据的价值“提纯”,大浪淘沙却弥足 珍贵。
12
大数据思维区别于传统思维,其精髓在于数据分析方法的3个转变
更多
不是随机样本而是全部数据, 技术发展,让我们处理所有
更多的数据成为可能。
10
不同认知角度的大数据定义
原始版本
大数据技术
用以区分数据
“信号”数据
暗数据
新瓶装旧酒
以大数据的三个特
征数量(Volume) 种类(Variety) 速度(Velocity) 定义大数据,是最 为人所知,且被公
认的一种。
我们除了面对更大 量(Volume)更多 种类(Variety)、 更快速(Velocity) 的数据以外,一批 新技术应运而生, 尤其是用以存储和 处理数据的开源技 术,如Hadoop、 NoSQL等。 学习和使用这些技 术和工具,需要一 个有别于传统技术 的名称,最终,将 其称为“大数据”。
从技术角度定义 “大数据”难免模 糊,人们也尝试着 从业务角度来定义 “大数据”,用以 区分数据。 一种分类是交易、 互动、观察。 另一种分类是流程、 人、机器。
从商业价值角度更 为直接的定义: 传统的事务性数据, 当我们记录下他们 的时候,要做什么/ 改变什么已经太晚 了(它已经发生)。 现今,企业可以利 用新的“信号 (Signal)”数据, 预测什么将要发生, 而因此早些做出改 进。
• 人-机互联 • 工业互联 • 产业互联 • OMO
8ห้องสมุดไป่ตู้
技术 A:人工智能 B:区块链 C:云计算 D:大数据 IoT:物联网
9
D
大数据的定义,随着技术的发展不断演进
定义大数据
更广的信息范围 新的数据与分析类型
实时信息
来自新技术的数据 非传统形式的媒体 大数据量 最新流行词 社交媒体数据
* 2012年IBM对95个国家中26 个行业的1144名专业人员调查 结果
新技术基础知识介绍
1
2016年,AlphaGo战胜李世石
22017年7月,李彦宏实战无人驾驶3无人超市一夜之间出现在大街小巷
4
今天,我们的“吓尿指数”已经不超过三十年
5
从企业角度来看,科技类企业正在成为商业的主角
单位:10亿美元
6
企业必须要依托新技术展开数字化转型,否则必将面临挑战
业绩落后企业
佛教关于因果报应的解释
哲学范畴的因果关系
舍恩伯格对大数据的相关性解释
佛教《三世因果经》主要讲:一是人的命是自己造就的; 原因和结果是揭示客观世界中普遍联系着的事物具有
二是怎样为自己造一个好命;三是行善积德与行凶作恶 先后相继、彼此制约的一对范畴。原因是指引起一定
干坏事的因果循环报应规律。
现象的现象,结果是指由于原因的作用而引起的现象。
价值 Value
• 企业充斥着日益增长的各种类型的数据,很容易积累出TB级别,甚至PB级 别的信息数据。
• 将每天12TB的Twitter数据用于提高产品的顾客情绪分析。 • 将每年3500亿的智能电表读数用于预测用电量。
• 有时候,2分钟也意味着太长了。针对时间敏感的进程,例如油井泄漏,大 数据被用做数据流的形式以提高它的价值。
先前由于技术限制 这是最为懒惰和偏 而被我们忽略或无 激的一种定义。认 法进行的数据分析。 为“大数据”只是 或将其称为“暗数 将原有的BI分析或 据”(Dark Data)。商业智能重新冠以
了一个高大上的名 字。本质没有区别。
11
大数据的典型特征(4V)
规模 Volume
速率 Velocity
多样 Variety
▪ Wiki百科:大数据是指一个超大的、难以用现有常规的数 据管理技术和工具处理的数据集。
▪ 研究机构(Gartner):大数据是需要新的处理模式,才能 具有更强的决策力、洞察力和流程优化能力的,海量、高 增长率和多样化的信息资产。
▪ IDC报告:大数据技术描述了一种新一代技术和构架,用于 以很经济的方式、以高速的捕获、发现和分析技术,从各 种超大规模的数据中提取价值 。