虚拟 网络
虚拟内存
虚拟CPU
虚拟磁盘
物理层
服务器 网络设备
存储设备 机房设备
管理模式
服务管理 流程管理
用户管理 订单管理
权限管理 安全审计
信息查询 计费管理
资源监控 集群管理 安全管理
虚拟机管 理
配置管理
资源调度
镜像管理 可用性管
理
虚拟机监 控
资源调度
设备监控 配置管理
告警管理 资源调度
服务接口
用户服务门户 管理员服务门户
选择
合适的就是完美的
谢 谢！
方案 – 常见方案
1. 集中式存储 刀片服务器，企业级存储设备（NFS，SAN）
2. 纯分布式存储 计算集群，分布式文件系统
3. 本地分布混合式 系统盘存本地，数据盘存放于分布式文件系统
4. 全对称式本地存储 计算节点即存储节点，分布式文件系统
5. 纯本地存储 本地虚拟机本地存储
方案1
方案2,3
方案4,5
方案 – 对比（1）
方案1： 集中式存储
方案2：
方案3：
纯分布式存储 本地分布混合式
方案4： 全对称式本 地存储
方案5： 纯本地存储
优势 劣势 备注
灵活；易动态迁 移；易扩展易管 理；部署快；虚 拟机密度高；高 可用性易实现； 统一存储策略； 节约空间；
成本高；单点失 效风险；存储IO 性能瓶颈
全对称架构，节 点数目某一范围 内性能可线性
可映射本地设备 可采用网络 RAID（DRBD） 防单点；软硬件 存储缓存；
方案 – 对比（2）
方 案 1： 集中式存储
方 案 2： 纯分布式存
储
方 案 3： 本地分布混
合式
方 案 4： 全对称式本
地存储
方 案 5： 纯本地存储
灵活性
5
4
3
4
1
成本
4
3
2
虚拟 资源 调度 接口
虚拟 资源 信息 接口
虚拟 资源 监控 接口
虚拟 机管 理API
虚拟 网络 API
虚拟 存储 API
虚拟化平 台软件
资源池化 管理
问题 - IaaS存储内容
• 虚拟机磁盘 • 配置文件 • 日志 • 监控信息
问题 – 虚拟磁盘
• 存储位置（本地，网络） • 虚拟机磁盘格式（文件，块） • 部署方式（拷贝，COW，Snapshot）
问题 – 设计目标
• 灵活性 • 成本 • 数据可用性 • 可扩展性 • 管理复杂度 • 性能
不存在完美的解决方案
问题
如何存储及管理虚拟机磁盘？
方案
方案 - 存储介质
• 本地存储
– 文件系统 – 块设备
• 分布式存储
– NFS – FC-SAN IP-SAN – 分布式文件系统
• MooseFS, GFS, GlusterFS, Ceph…
IaaS云平台存储架构规划设计
技术创新，变革未来
为IaaS平台选择合适的存储架构
华茂云天科技（北京）有限公司 高级架构师 石磊
• 问题 • 方案 • 选择
目录
问题
问题 – IaaS平台
服务运 营层
资源基础
客户
订单
资源
应用
服务 信息
虚拟化 管理层
集群 CDN/IP
镜像 数据
虚拟化层
虚拟 机
存储 池
2
2
数据可用性
2
4
3
4
2
可扩展性
4
5
4
5
3
管理复杂度23442
部署周期
1
3
4
3
2
性能 指标：吞吐率，IOPS 影响因素：规模，带宽，拓扑，客户端数目，虚拟机磁盘格式，硬件 配置（RAID，缓存，磁盘类型数目），软件配置（缓存，协议）
注：评分1-5代表从低到高，仅供参考
方案
1. 集中式存储 2. 纯分布式存储 3. 本地分布混合式 4.全对称式本地存储 5. 纯本地存储
…
选择
选择
• 设计目标
– 灵活性 – 成本 – 数据可用性 – 可扩展性 – 管理复杂度 – 性能
• 实际需求
– 目的
• 企业私有云，IDC云服务
– 服务能力 – 功能需求
• 存储快照，虚拟机迁移
– 资源特点
• 硬件配置，机柜空间
– 应用特点
• IO，计算，网络密集型
– 成本因素
• 资金，人力，时间 • 迁移代价，部署周期
优化并行NAS （pNFS） 适用企业私有云
易扩展；动态迁 移；虚拟机部署 快；多份拷贝高 可用性支持；
数据盘存储易扩展； 系统盘性能高；数据 盘高可用性；本地 RAID容错；
无单点；无IO性 性能较好；部署 能瓶颈；成本低 ； 简单；本地 多份拷贝高可用 RAID；易管理； 性；本地RAID 容错；易扩展易 管理
额外存储节点成 本；管理代价； 软件系统稳定性 要求高；存储性 能受限于网络；
采用多交换机+服 务器多网卡负载 均衡
不易热迁移；管理代 价高；虚拟机部署不 易；系统盘数据难保 障；
数据盘优化同方案2， 系统盘可以采用本地 块设备或LVM分区快 照
双角色节点压力 无法迁移；不易 大；虚拟机部；署 扩展；计算存储 时间长；节点宕 均单点； 机数据恢复效率 ； 镜像拷贝带宽；