管理员手工创建虚拟机、 手工部署应用，周期长？

系统自动部署虚拟机，自动部署应用， 周期短


管理员手工管理所有资源，
复杂？ 缺乏部署与调度策略，自 动化程度低？


管理平台统一监控、管理资源，异常事 件告警、迁移策略，简洁智能
丰富的部署与调度策略，根据应用情况 分配资源，减少人工干预 根据应用系统特点合理选择虚拟化软件 ，提高性价比 管理平台可扩展，开源与商用的虚拟化 软件可共存，并可管理其他资源 提供便捷的用户自助服务，资源申请、 资源审批、对虚拟机的控制等 资源预约为关键业务提供保障，自动的 应用部署减少人工操作、缩短周期 更多……
让系统分配能源效率最高的机器 让系统分配温度最低的机器，以避免系统出现“热点” 指定任务在晚上时段运行，此时的电费最便宜
需求, 合同, 资源供给 … 传感器 空调 UPS 计算机设备
任务分发
Engine
目录
IDC发展面临的挑战 云计算解决方案 调度与管理
•服务资源整合
•服务资源调度
4 Bottom 3 4 1 Left 4
Left
4
App App App App BApp App B A App A VMVM CC VMC VM VM VM VM
2
Bottom-Left Decreasing Bin-Packing Heuristic
策略2：Striping （分散）策略
App A VM
•资源分配策略 •服务资源管理
总结
服务资源管理
云系统管理员 •成本管理 •发布可用的服务 •将资源转变为服务 •管理和维护资源的清单 应用经理
•云的客户 开发经理 •负责合同签署 应用程序所有者 •资源使用的规划 •选择服务提供给最终用户定义 优先级与资源的分配策略
部门经理
云计算平台
最终用户
•请求并使用特定应用的 虚拟机或物理机 •按照应用经理规定的优 先级和资源分配策略使 用计算机资源
Test & Dev
J2EE / Analytics
Silo
Silo
Supply and Demand Aligned
服务资源整合
系统架构服务
可用性 资源管理 数据保护 安全和集成
虚拟资源池
服务资源整合
目录
IDC发展面临的挑战 云计算解决方案 调度与管理
•服务资源整合
•服务资源调度
端到端的云管理软件： 根据负载均衡和资源均衡的策略，从共享的物理和虚 拟资源中为上层的应用系统创建和提供运行环境
云平台
Ticketing System
用户自服务
报表 & 计费
资源分配调度引擎
工作流 & 审批流程
对应用系统的支持 Hadoop, Websphere, 客户化的应用…… 运营管理
Entitlement System
云计算体系架构
云计算门户
SAAS 服务系统 服务管理
IDC 服务
服务应用系统
服务调度和管理引擎
IAAS 服务平台
云计算平台VM中间构建
PAAS IAAS
IAAS 调度分配引擎
资源池
支撑平台体系架构
用户
VMware, KVM, XEN
管理服务器
管理服务器
在线服务器 云计算节点
在线服务
存储
离线计算
云管理方案
App Server
App Server
Self-Service Portal
App Server Source pool
Virtual Servers
•资源分配策略 •服务资源管理
总结
服务资源调度
1) Application Topology
DB
Tier 1
App Server
App Server
App Server
Tier 2
5) C-language plug-in placement policy: • vem_policy_init() • vem_policy_fin() • vem_policy_distribute() • vem_policy_place() • vem_policy_housekeep() • vem_policy_status() • vem_policy_info()
开发人员 应用程序用户
服务异常处理管理
多种虚拟机管理器和操作系统 同步运行 服务能在各计算机之间“浮 动”，即使整个网络都瘫痪， 任务数据也不会丢失。
Ap p Ap p
业务需求
Ap p
Ap p
Ap p Ap p
Ap p
Ap p
所有事件记录在指定文件系统 中，零停机时间、零数据损失。
Ap p
当第一台机器恢复正常时，机 群服务就可恢复并继续运行。 整个过程对用户来说是透明的， 感觉不到远程集群的存在。
Rack
2) Resource Hierarchy
/
DC
DC
Rack Group
Rack Group
Rack Group
Web Server
Web Server
Rack
Rack
Rack
Hale Waihona Puke Tier 3Rack
Rack
4) Previous reservations committed & Account Quotas
云 计 算 ——服务资源调度与管理
北京科技大学 曾明
2014年1月7日
目录
IDC发展面临的挑战 云计算解决方案 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略 •服务资源管理
总结
IDC发展面临的挑战
地理上分布的用户
1. 2. 3.
4.
5.
IT成本高，机房设备利用率 低 数据中心体系很复杂， 系统 的维护和管理难度大 资源占用多，缺乏统一化， 配置峰值资源需求等于浪费 资源 系统稳定性、可靠性低。人 工服务为主，高成本、低满 意度 IT传统模式不能适应业务部 署速度的需求 （至少2个月）
App A VM
App E VM
将应用程序或虚拟机启动在使用最少的 物理服务器上。
App A VM
App B VM
App B VM
每台物理服务器运行的应用程序或虚拟 机最小化
降低物理服务器故障的影响
App C VM
App C VM
App C VM
提高应用程序、虚拟机运行效率
策略3： Topology Aware (基于网络拓扑）策略
应用B
保证应用程序运行效率
策略5：HA-enabled （支持HA）策略
关键应用 A $2/hour
关键应用 B $1/hour
HA 服务器
非关键应用 - $0.15/hour
将关键应用分配到支持HA的服务器上。 根据业务类型和费用，提供不同级别的可用性。
策略6：节能优化策略
• 实现“绿色”策略:
DC 1
DC 1 DC 2 DC 3
Offeri ng 2 200
DC 2
DC 3
R2 R2 R3
Rac k1
Rac k2
Rac k3
Contract #888
Offeri ng 1 300 Contract #677
Contract # 888
Contract #677
Contract #123 Contract #444
机架一
刀片中心一
机架二
刀片中心二
刀片中心三
刀片中心四
可用的节点
被占用的节点
尽量保证为应用程序分配的服务器资源之间的网络路径最小 仅在万不得已的情况下才跨刀片中心、机架、交换机分配服务器资源 提高应用程序运行效率
策略4： Affinity-based (基于关联程度)策略
应用A
将任务分配到与关键资源关联度最高的 服务器上，例如将任务分配到与存储系 统直连的服务器上
3. 分布式计算方案
SMP
Oracle DB Oracle DB
2. 同步方案 4. 话单合并
目录
IDC发展面临的挑战 云计算解决方案 调度与管理
•服务资源整合
•服务资源调度
•资源分配策略 •服务资源管理
总结
服务资源整合
不同类型的应用程序集成
Test/Dev
HPC J2EE others
Load-Aware（基于 负载） HA-Aware（基于高 可靠性配置） Energy-Aware（节 能）
• 新的应用程序总是运行在负载最轻的物理服务器上 • 获得更高的应用程序运行效率 • 将支持高可靠性（HA）的服务器资源分配给关键业务 • 提供更高的资源可用性
• 根据节能指数和数据中心热点运行应用程序 • 减少能源消耗
资源整合
虚拟化系统 管理插件 物理机部署工具 的插件 系统管理 插件
服务资源整合
在不同的应用部门共享物理资源 D HPC Clusters LSF, Symphony, 3rd Party E M Workload-aware A N D S U P P L Resource-aware Y
Silo


商用虚拟化软件，价格昂
贵？ 固化的管理平台，无法扩 展？




希望提供用户自助服务？
希望提供智能的资源预约、 自动的应用部署功能？ ……
节省投资
系统部署的时间从几天缩短到几分钟，没有双机备 份，低成本
App 1 App 2 App N App 1 App 2 App N