Dremel，Hana，Redis等
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
五、大数据的主要技术层面和技术内容
第1章 大数据概述
P1
大数据主要技术层面和技术内容
04 应用层 算法层 03
内容 导航
CONTENTS
第1章 大数据概述
P1
大数据的发展
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容 大数据的典型应用
三、大数据的产生及数据类型
第1章 大数据概述
P1
近年来互联网、云计算、移动互联网、物联网及社交网络 等新型信息技术的发展，使得数据产生来源非常丰富：
算
Hana，Redis等
批处理计算 流式计算
迭代计算 图计算
内存计算
MapReduce，Spark等
Scribe，Flume，Storm，S4，Spark Steaming、Apex、 Flink等 HaLoop，iMapReduce，Twister，Spark等
Pregel，Giraph，Trinity，PowerGraph，GraphX等
淘宝累计的交易数据量高达100PB；
每天会有2.88万个小时的视频上传到 Youtobe； 根据国际数据公司IDC的测算，到2020 年数字世界将产生35000EB的数据。
第1章 大数据概述
P1
大规模的行业/企业大数据已 远远超出了现有传统的计算 技术和信息系统的处理能力。 因此，寻求有效的大数据处 理技术、方法和手段已经成 为现实世界的迫切需求。
大数据指的是 那些大小超过 标准数据库工具软件 能够收集、存储、 管理和分析的数据集。
——麦肯锡
大数据
…………
第1章 大数据概述
P1
在信息技术中，“大数据”是指一些 使用目前现有数据库管理工具或者传统 数据处理应用很难处理的大型而复杂的 数据集。
其挑战包括采集、管理、存储、搜索、 共享、分析和可视化。
器等产生大量数据，其数据规模更巨大。
三、大数据的产生及数据类型
数据类型
按生产主体：
按数据作用 方式： 按数据类型：
第1章 大数据概述
P1
按数据类型： 按生产主体：
结构化数据 半结构化数据 非结构化数据
企业应用产生的少量数据 用户产生的大量数据 机器产生的巨量数据
数据类型很多，此处从不同方面分析。
按数据作用方式：
（1）企业内部及企业外延。 企业原有内部系统如ERP、OA等应用系统所产生的存储在数据库中
数据，这部分数据属于结构化数据，可直接进行处理使用，为公司决策提供依据。
（2）互联网及移动互联网。 移动互联网促进更多用户从传统的数据使用者转变为数据生产者。
（3）物联网。 物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感
第1章 大数据概述
P1
大数据技术与应用基础-第1章大数据概述
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特征
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
一、大数据的发展
大数据综述
Google上每天需要处理24PB的数据；
一、大数据的发展
大数据有多重要
第1章 大数据概述
P1
一、大数据的发展
国家政策
第1章 大数据概述
Байду номын сангаасP1
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
二、大数据的概念及特性
大数据的概念： 关于大数据难以有一个非常定量的定义。
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统 大数据的主要技术层面和技术内容
大数据的典型应用
四、信息安全的要素
第1章 大数据概述
P1
第1章 大数据概述
P1
THANKS
第1章 大数据概述
P1
此课件下载可自行编辑修改，仅供参考！ 感谢您的支持，我们努力做得更好！谢谢
交易数据 交互数据
内容 导航
CONTENTS
大数据的发展
第1章 大数据概述
P1
大数据的概念及特性
大数据的产生及数据类型
大数据计算模式和系统
大数据的主要技术层面和技术内容
大数据的典型应用
四、大数据计算模式和系统
大数据计算模式及典型系统和工具
第1章 大数据概述
P1
大数据计算模式
典型系统和工具
大数据查询分析计 HBase ， Hive ， Cassandra ， Premel ， Impala ， Shark ，
——维基百科
“大数据”是需要新处理模式 才能具有更强的决策力、洞察 发现力和流程优化能力的海量、 高增长率和多样化的信息资产。
——Gartner
二、大数据的概念及特性
大数据的特性
1．大体量 （Volume）
3．时效性 （Velocity）
第1章 大数据概述
P1
2．多样化 （Variety）
4．大价值 （Value）
02 系统层
（1）基础层 基础层主要提供大数据分布存储和并行计算的硬 件基础设施。
（2）系统层 在系统软件层，需要考虑大数据的采集、大数据 的存储管理和并行化计算系统软件几方面的问题。
（3）算法层 考虑如何能对各种大数据处理所需要的分析挖掘 算法进行并行化设计。
基础层 01
（4）应用层 基于上述三个层面，可以构建各种行业或领域的 大数据应用系统。