当前位置:文档之家› 大数据概论ppt

大数据概论ppt

不同的定义基本是从大数据的特征出发,通过这些特征的阐述和归纳 试图给出其定义。在这些定义中,比较有代表性的是4V定义,即认为大 数据需满足4个特点。
大数据的特点
• 数据体量(Volumes)巨大。大型数据集,从TB 级别,跃升到 PB 级别。 (Volumes)
• 数据类别(Variety )繁多。来自多种数据源,数据种类和格式冲破了 (Variety) 以前数据所限定的结构化数据范畴积累到一个开始引发变革的程度。它不仅使世界充斥着以
往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天
文学和基因学,创造出了“大数据”这个概念。这个概念几乎应用
到所有人类智力与发展的领域中。
“大数据”带来的影响

当人们还在津津乐道云计算、物联网等主题时,一个崭新的
概念“大数据”横空出世。大数据是继云计算、物联网之后 IT 产业
• 认知大数据的三个层面 第一层面是:理论
理论是认知的必经途径,也是被广泛认同和传播的基线。我 们从大数据的特征定义理解行业对大数据的整体描绘和定性从对大 数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展 趋势。从大数据隐私这个特别而重要的视角审视人和数据之间的长 久博弈。
第二层面是:技术
系统为代表。 实时流处理(Stream Processing)技术以Yahoo的S4系统为代
表。 交互式分析(Interactive Analysis)技术以谷歌的Dremel系统
为代表。
大数据与云计算 大数据与云计算的关系就像一枚硬币的正反面一样密
不可分。如果将各种大数据的应用比作一辆辆“汽车”支撑 起这些“汽车”运行的“高速公路”就是云计算。正是云计算技 术在数据存储’管理与分析等方面的支撑“才使得大数据有用 武之地。
(一) 获取有用数据 (二) 数据分析 (三) 数据显示 (四) 实时处理数据的能力
大数据最核心的价值就是在于对于海量数据进行存储和分析。相 比起现有的其他技术而言,大数据的“廉价、迅速、优化”这三方面 的综合成本是最优的。
大数据的构成 大数据包括:交易数据和交互数据集在内的所有数据集。
• (公式)大数据=海量数据+复杂类型的数据
大数据要解决的核心问题 与传统海量数据的处理流程相类似,大数据的处理也包括获取与
特定的应用相关的有用数据,并将数据聚合成便于存储、分析、查询 的形式; 分析数据的相关性,得出相关属性; 采用合适的方式将数据分 析的结果展示出来等过程。 相关步骤:
又一次颠覆性的技术革命,对国家治理模式,企业决策、组织和
业务流程,以及个人生活方式等都将产生巨大的影响。大数据的
挖掘和应用可创造出超万亿美元的价值,将是未来 IT 领域最大
的市场机遇之一,其作用堪称又一次工业革命。
• 大数据产生的背景

随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增
长。大约每两年翻一番,根据监测,这个速度在2020 年之前会继续保持
技术是大数据价值体现的手段和前进的基石。可以从云计 算、分布式处理技术、存储技术和感知技术的发展来说明大数据从 采集、处理、存储到形成结果的整个过程。
第三层面是:实践 实践是大数据的最终价值体现。我们从互联网的大数据,政
府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据 已经展现的美好景象及即将实现的蓝图
价值信息的技术。解决大数据问题的核心是大数据技术。 主要可分为:数据采集,数据存取,基础架构,数据处理,
统计分析,数据挖掘,模型预测,结果呈现等8种技术。 大数据技术主要形成了批处理、流处理和交互分析三种计算
模式: 离线批处理(Batch Processing)技术以MapReduce和Hadoop
达到364EB,约为日本的60%,北美的7%。

淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等
于1000GB),存,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求
,几十PB数据。
• 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。 信息数据的单位由TB-PB-EB-ZB的级别。这些由我们创造的信息背后产生的 这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这 些数据,逐渐成为一个新的领域,于是大数据的概念应运而生。
第二部分
• 大数据的概念
大数据的概念及特点
大数据不是一种新技术,也不是一种新产品,而是一种新现象。
大数据本身是一个比较抽象的概念,单从字面来看,它表示数据规模 的庞大。但是仅仅数量上的庞大显然无法看出大数据这一概念和以往的 “海量数据”(massive data)、“超 大 规 模 数 据”(very large data) 等概念之间有何区别。对于大数据尚未有一个公认的定义。
下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据
量。

资料显示,2011年,全球数据规模为1.8ZB,可以填满575亿个32GB的
iPad,这些iPad可以在中国修建两座长城。到2020年,全球数据将达到
40ZB,如果把它们全部存入蓝光光盘,这些光盘和424艘尼米兹号航母重
量相当。我国,2010年新存储的数据为250PB,2012年中国的数据存储量
• 处理速度(Velocity)快。包含大量在线或实时数据分析处理的需求,1 秒定律。
(Velocity)
• 价值(Value) 密度低,以视频为例,连续不间断监控过程中,可能有用的 数据仅仅一两秒钟。
(Value)
第三部分 大数据的相关技术及应用
大数据技术 大数据技术是指从各种各样类型的巨量数据中,快速获得有
大数据概论
汇报人:周文涛 指导老师:张晓琳 专业:计算机科学与技术
大数据 Big Data
大数据引领我们走向数据智能化时代
第一部分
• 大数据产生背景和 意义
第二部分 • 大数据的概念及特 点 • 大数据的相关技术
第三部分 及应用
第一部分 大数据产生背景和意义
“大数据”的横空出世

半个世纪以来,随着计算机技术全面融入社会生活,信息爆
相关主题