03
系统层
02
基础层
01
（4）应用层 基于上述三个层面，可以构建各种行业或领域的 大数据应用系统。
内容 导航
CONTENTS 大数据的发展 大数据的概念及特性 大数据的产生及数据类型 大数据计算模式和系统
第1章 大数据概述
P1
大数据的主要技术层面和技术内容 大数据的典型应用
四、信息安全的要素
第1章 大数据概述
4．大价值 （Value）
内容 导航
CONTENTS 大数据的发展 大数据的概念及特性
大数据的产生及数据类型
第1章 大数据概述
P1
大数据计算模式和系统
大数据的主要技术层面和技术内容 大数据的典型应用
三、大数据的产生及数据类型
近年来互联网、云计算、移动互联网、物联网及社交网络 等新型信息技术的发展，使得数据产生来源非常丰富：
内容 导航
CONTENTS 大数据的发展 大数据的概念及特性 大数据的产生及数据类型 大数据计算模式和系统
第1章 大数据概述
P1
大数据的主要技术层面和技术内容 大数据的典型应用
五、大数据的主要技术层面和技术内容
大数据主要技术层面和技术内容
第1章 大数据概述
P1
04
算法层
应用层
（1）基础层 基础层主要提供大数据分布存储和并行计算的硬 件基础设施。 （2）系统层 在系统软件层，需要考虑大数据的采集、大数据 的存储管理和并行化计算系统软件几方面的问题。 （3）算法层 考虑如何能对各种大数据处理所需要的分析挖掘 算法进行并行化设计。
三、大数据的产生及数据类型
数据类型
第1章 大数据概述
P1
结构化数据 按数据类型： 按生产主体： 按数据作用 方式： 按生产主体： 半结构化数据 非结构化数据 企业应用产生的少量数据
用户产生的大量数据
机器产生的巨量数据
按数据类型：
按数据作用方式：
数据类型很多，此处从不同方面分析。
交易数据 交互数据
内容 导航
（1）企业内部及企业外延。
第1章 大数据概述
P1
企业原有内部系统如ERP、OA等应用系统所产生的存储在数据库中 数据，这部分数据属于结构化数据，可直接进行处理使用，为公司决策提供依据。 （2）互联网及移动互联网。 移动互联网促进更多用户从传统的数据使用者转变为数据生产者。
（3）物联网。
物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感 器等产生大量数据，其数据规模更巨大。
大数据 “大数据”是需要新处理 模式才能具有更强的决策 力、洞察发现力和流程优 化能力的海量、高增长率 和多样化的信息资产。 ——Gartner
…………
二、大数据的概念及特性
大数据的特性
第1章 大数据概述
P1Байду номын сангаас
1．大体量 （Volume）
2．多样化 （Variety）
3．时效性 （Velocity）
CONTENTS 大数据的发展 大数据的概念及特性 大数据的产生及数据类型
大数据计算模式和系统
第1章 大数据概述
P1
大数据的主要技术层面和技术内容 大数据的典型应用
四、大数据计算模式和系统
大数据计算模式及典型系统和工具
第1章 大数据概述
P1
大数据计算模式
典型系统和工具
大数据查询分析计 HBase ， Hive ， Cassandra ， Premel ， Impala ， Shark ， 算 Hana，Redis等 批处理计算 流式计算 迭代计算 图计算 内存计算 MapReduce，Spark等 Scribe ， Flume ， Storm ， S4 ， Spark Steaming 、 Apex 、 Flink等 HaLoop，iMapReduce，Twister，Spark等 Pregel，Giraph，Trinity，PowerGraph，GraphX等 Dremel，Hana，Redis等
P1
第1章 大数据概述
P1
THANKS
大规模的行业/企业大数据已 远远超出了现有传统的计算 技术和信息系统的处理能力。 因此，寻求有效的大数据处 理技术、方法和手段已经成 为现实世界的迫切需求。
一、大数据的发展
大数据有多重要
第1章 大数据概述
P1
一、大数据的发展
国家政策
第1章 大数据概述
P1
内容 导航
CONTENTS 大数据的发展 大数据的概念及特性 大数据的产生及数据类型 大数据计算模式和系统
第1章 大数据概述
P1
大数据的主要技术层面和技术内容 大数据的典型应用
二、大数据的概念及特性
大数据的概念： 关于大数据难以有一个非常定量的定义。 大数据指的是 那些大小超过 标准数据库工具软件 能够收集、存储、 管理和分析的数据集。 ——麦肯锡
第1章 大数据概述
P1
在信息技术中，“大数据”是 指一些使用目前现有数据库管理工 具或者传统数据处理应用很难处理 的大型而复杂的数据集。 其挑战包括采集、管理、存储、 搜索、共享、分析和可视化。 ——维基百科
第1章 大数据概述
P1
第1章
大数据概述
21世纪高等院校“云计算和大数据”人才培养规划教材 《大数据技术与应用基础》
能力 要求
CAPACITY
第1章 大数据概述
P1
掌握大数据技术的基本情况，了解大数 据和云计算行业的新技术。 具有良好的自学能力，对新技术有学习、 研究精神，具有较强的动手操作能力。
培养良好的职业道德。
内容 导航
CONTENTS 大数据的发展 大数据的概念及特征 大数据的产生及数据类型 大数据计算模式和系统
第1章 大数据概述
P1
大数据的主要技术层面和技术内容 大数据的典型应用
一、大数据的发展
大数据综述
第1章 大数据概述
P1
Google上每天需要处理24PB的数据； 淘宝累计的交易数据量高达100PB； 每天会有2.88万个小时的视频上传到 Youtobe； 根据国际数据公司IDC的测算，到2020 年数字世界将产生35000EB的数据。