━ 应用数量的增加，将使得用和核心的数据迅速增长，必 然需要借助大数据技术来对这些数据进行分析与挖掘
-7-
大数据与物联网关系
大数据处理技术在物联网中的应用
海量数据存储 海量数据传输 海量数据分析与挖掘 实时决策
-8-
大数据相关技术介绍
分布式计算框架Hadoop
Hadoop是一个开源的分布式框架，可以实现在由大量服 务器组成的集群上，通过分布式的计算模型和存储模型 处理大数据集 Hadoop具有高容错性，可靠性，可扩展性等优势
Google云计算平台
Google Compute Engine Google App Engine Google Cloud Datastore Google Cloud SQL
Amazon云计算应用案例
Amazon EC2
Amazon EC2是一种云基础设施服务 基于服务器虚拟化技术，为用户提供大规模、可靠、 可伸缩的计算资源 用户可以申请和定制所需的计算资源，按需付费
大数据相关技术介绍
分布式计算框架Hadoop SAP HANA内存计算系统 机器学习
大数据概念
Variety
据多样性丰富，来源广泛，数据种类和格式丰富
Velocity
数据处理速度快，在数据量非常庞大的情况下，也能 够做到数据的实时处理
Volume
数据体量大，为大型数据集
Value
数据价值密度较低
主要聚类算法
划分法 层次法 基于密度的方法 基于网格的方法 基于模型的方法
-13-
大数据相关技术介绍
分类
分类是一种种数据分析形式，通过分析训练集中的数据， 为每个类别建立分类分析模型，然后用这个分类分析模型 对数据集的记录进行分类
Amazon DynamoDB
Amazon DynamoDB是一个完全托管的NoSQL数据库 服务 可以提供快速的、可预期的性能，并且可以实现无缝 扩展
-2-
Google云计算应用案例
Google Compute Engine
Google Compute Engine是一个基础架构服务，可以让 用户使用Google的服务器来运行Linux虚拟机 具有极高的延展性、高性能以及性价比
-10-
大数据相关技术介绍
SAP HANA内存计算系 统
SAP HANA 是一款面向数 据源的、灵活、多用途的 内存应用平台设备
SAP内存计算技术包括列 式数据库设计、数据压缩、 分区计算、动态数据聚集 和大规模并行处理、数据 复制和分析建模等技术
HANA 内存计算系统架构
-11-
大数据相关技术介绍
-6-
大数据与物联网关系
从物联网构成分析大数据需求
联网实体的扩大化
━ 需要大数据处理技术为联网实体产生的大量数据其提供 存储、分析的支持，以获取重要信息并实时作出决策
网络层需求
━ 需要大数据传输技术为物联网应用层产生的大量数据提 供足够的高可靠与低延迟数据传输承载能力
以应用为核心的数据需求的增长
机器学习
模拟或实现人类的学习行为，以获取新的知识或技能 通过机器学习的研究，可以深度挖掘大数据中蕴含的价值
机器学习方法
以用户为基础的协同过滤 以项目为基础的协同过滤
━ 聚类 ━ 分类
-12-
大数据相关技术介绍
聚类
聚类即将数据分组成为多个类。在同一个类内对象之间具 有较高的相似度，不同类之间的对象差别较大
Amazon EMR
Amazon EMR是一种 Hadoop托管服务运行架构 提供执行数据密集型应用计算，完成 Web 索引、数据 挖掘等数据处理任务
-1-
Amazon云计算应用案mazon云平台提供的具有高扩展性、可 靠性、安全性的网络存储服务 用户可以将自己的数据放到存储云上，通过互联网访 问和管理
Google Cloud SQL
Google Clooud SQL提供关系数据库的云服务。用户可 以将其数据库迁移到云中 用户使用Cloud SQL时，所有事务都在云中由Google管 理
-4-
PowerPoint Template_Sub
大数据技术
大数据概念 大数据与物联网关系
从物联网构成分析大数据需求 大数据处理技术在物联网中的应用
Google App Engine
Google App Engine 允许用户在 Google 的基础架构上 运行网络应用程序 应用程序易于构建和维护，并可根据用户应用程序的 访问量和数据存储需要的增长轻松扩展
-3-
Google云计算应用案例
Google Cloud Datastore
Google Cloud Datastore提供了一个托管的NoSQL无模 式数据库，用于存储非关系数据 Google自动处理分片和复制,以提供高可用性和一致的 数据库 支持类SQL查询
Hadoop生态系统图
-9-
大数据相关技术介绍
Hadoop生态系统主要组件
Haoop Common HDFS
MapReduce
HBase Pig
提供系统配置工具Configuration、序列化机制、远程过程调用 RPC和Hadoop抽象文件系统HDFS等 工具
Hadoop的分布式存储系统，具有高度容错特性，是Hadoop体 系中数据存储管理的基础
并行处理的编程模型，基于它编写的应用程序能够运行在由 大量服务器组成的大型集群上，并以可靠容错的式并行处理 TB级别的数据集
高可靠、高性能、面向列、可伸缩的非关系数据库，提供了 对大规模数据的随机、实时读写访问
运行在Hadoop上，对大型数据集进行分析和评估的平台
Hive
建立在Hadoop基础上的数据仓库架构
PowerPoint Template_Sub
第四章 云计算与大数据
4.3.4 云计算技术案例 4.3.5 大数据技术
PowerPoint Template_Sub
云计算技术案例
Amazon云计算平台 Amazon Elastic Compute Cloud (Amazon EC2)
Amazon Elastic MapReduce (Amazon EMR) Amazon Simple Storage Service（Amazon S3） Amazon DynamoDB