云计算济南大学张庆科
2000
云计算
2010
4 4
1.2云计算的概念模型
5
1.3 云计算的定义
云计算是一种商业计算模型。它将计算任务 分布在大量计算机构成的资源池上，使各种应用 系统能够根据需要获取计算力、存储空间和信息 服务。
6
目录 1.云计算的起源 2.云计算的特点 3.云计算的价值
7
云计算的特点
虚拟化技术 灵活定制 动态可扩展
高性价比 资源在云端 超强计算力
可靠安全性
8
2.2云计算的类别
专 用
将软件作为服务 SaaS
如：Salesforce online CRM
将平台作为服务 PaaS
如：Google App Engine
通
用
将基础设施作为服务 IaaS
如：Amazon EC2/S3
9
2.3 云计算服务的交付模式分类
Combine, <K2,list(V2)>
Reduce( )
Reduce( )
结果0 结果1
Map( )
Reduce( )
结果2
…… Map( )
…… Reduce( )
<K2,V2>
M个Map任务
R个Reduce任务
MapReduce处理大数据集的过程
<K3,V3>
结果R-1 输出
27
一个管理模块+多个 执行模块
机架2
20
云
数据分布存储技术
计
算
数据管理技术
的
关
键
编程模型
技
术
虚拟化技术
21
数据管理技术
面临的问题： • 高效的管理大数据集 • 高效的查找特定信息 • 读优化的数据管理 实例： • BT(BigTable)数据管理技术 • 开源数据管理模块HBase
22
Hbase:Bigtable的开源实现
计算节点和存储节 点在一起
本地计算
分布式并行计算
得到最终的R个结果，可 以是另一个计算的输入
任务管道
任务粒度
小数据集<HDFS的数据 块，M个小数据集，对
应M个子任务
Combine（连接）
实现 机制
读取中间结果
以文件方式，管理 模块调度Reduce()
Partition（分区）
合并<key,value>,减少 其数目
• 通过“Map(映射)”和“Reduce(化简)”这样两 个简单的概念来构成运算基本单元,用户只需 提供自己的 Map 函数以及 Reduce 函数即可并 行处理海量数据
• 简单讲：任务的分解和结果的汇总
26
分段0
分段1
分段2
分段3
……
分段M-1
<K1,V1>
输入
分区 Map( ) Map( ) Map( )
云
数据分布存储技术
计
算
数据管理技术
的
关
键
编程模型
技
术
虚拟化技术
17
数据分布存储技术
• 目标——高可用，高可靠，经济性 • 手段——分布式存储+数据冗余+并行服务 • 特点—— 高吞吐量+高传输量 • 案例——Google的GFS和Hadoop的HDFS
HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写，具有高容错性，可以部署在廉价的 硬件设备上， 并且提供了对数据读写的高吞吐率。
实现机制框图
按key分成R份，hash(key) mod R
公共云
(服务提供商 – 互连网)
私有云
(数据中心 – 内部网)
混合云
(公共和私有)
公共云：泛指部署在公共计算平台中，对公共开放的云计算平台。
私有云：部署在企业内部，为某一公司所私有的云计算平台， 旨在整合其公司内部IT资源的云计算系统。
混合云：公共云与私有云之结合
10
目录 1.云计算的起源 2.云计算的特点 3.云计算的价值
Hbase数据库是基于Hadoop的项目，是 对Google的Bigtable的开源实现。
可排序， 唯一标示对于每次Βιβλιοθήκη 数据操作Hbase的逻辑模型
<family>:<label>
行关键字
“ 报名. UJN. www”
时间戳 T9 T8 T6
列”xxxx1”
“<html>…” “<html>…”
列”xxxx2” UJN NIC
11
云计算对用户意味着——
• 符合移动办公 • 用户端负载降低 • 降低总体拥有成本 • 便于协作和共享 • 按使用付费
12
云计算对服务提供商意味着——
• 商业模式和理念的转变 • 提高管理效率 • 降低运维成本 • 提高资源利用率 • 影响产业链
总结：云计算是一个商业概念，其本质是一种商业计算，这种计算将对传统互联网 进行革命性的颠覆，未来的 云计算市场潜力巨大，蕴含的价值无限，值得深入研 究！
1.云计算概论 于孝美
赵树鹏 2.云计算原理与技术
张明镜
3.云计算安全与展望
Report
张庆科 4.云计算应用与平台设计
1
第一篇
云计算概述
于孝美
2
目录 1.云计算的起源 2.云计算的特点 3.云计算的价值
3
1.1 计算模式演变
单机
网络
服务
单机计算
1970
并行计算
1980
分布式计算 网格计算
1990
18
HDFS的设计前提与目标
•硬件错误是常态而不是异态。 •流式数据访问 •大规模数据集 •简单一致性模型 •移动计算比移动数据更划算 •异构软硬件平台间的可移植性
19
HDFS的体系结构
NameNode
客户端 读
复制
元数据，命 名空间
数据块操作
数据块
机架1
DataNod
实际的数据， 存储管理
写 客户端 HDFS的结构示意图
13
第二篇 云计算的基本原理和关键技术
赵树鹏
14
基
• 分布式计算、并行计算和网格计算及分 布式数据库的改进和融合
本
原
理
• 利用非本地或远程服务器（集群）的分 布式计算机为互联网用户提供服务（计
算、存储、软硬件等服务）
15
云计算基本原理图
用户互动 界面
系统管理
资源工具
服务器
服务目录
监控与 测定
16
行关键字 “ 报名. UJN.www”
时间戳 T6
列”xxxx3” “text/html”
在物理上的存储方式
把概念模型 中的行进行 分割，按列
存储
24
云
数据分布存储技术
计
算
数据管理技术
的
关
键
编程模型
技
术
虚拟化技术
25
编程模型——Map/Reduce
• 简化的分布式编程模型和高效的任务调度 模型，用于大规模数据集（大于1TB）的并 行运算
列”xxxx3” “text/html”
数据存放逻辑视图
23
Hbase物理模型
按列族存储数据，
列族内具有统一的 读/写方式
行关键字 “ 报名. UJN.www”
时间戳 T8 T6
列”xxxx1” “<html>…” “<html>…”
行关键字 “ 报名. UJN.www”
时间戳 T9 T8
列”xxxx2” UJN NIC
