当前位置:文档之家› 分布式存储技术

分布式存储技术

通过软件控制层面实现存储的自动化和池化。它将存储的置 备和管理的方法简化到了极致,并利用工业标准服务器的存 储大大降低了成本。
•软件定义的存储产品:是一个将硬件抽象化的解决方案,
它使你可以轻松地将所有资源池化并通过一个友好的用户界 面(UI)或API来提供给消费者。一个软件定义的存储的解 决方案使得你可以在不增加任何工作量的情况下进行纵向扩 展(Scale-Up)或横向扩展(Scale-Out)
– 允许的故障次数 Number of failures to tolerate
• 定义存储对象能够允许的主机、网络和/或磁盘的故障次数。 • 可用性保障,缺省为1,最大为3。
– 对象空间预留 Object space reservation
• 应预留的存储对象(包括快照)逻辑大小百分比(厚配置)。
Flash
Cold Core
SSD SSD SSD
• • • • •
以提供容量为核心 白牌设备 弹性,跨地域 同时提供文件/对象访问 扩展到云
FC SATA
FC SATA
FC SATA
Cloud Object Storage
5
什么是软件定义存储?
•软件定义的存储:是将工业标准服务器的存储提供出来并
云环境下的分布式存储技术
内容
1 2
软件定义存储技术的发展 分布式存储技术 VSAN 介绍
存储形态的变化
25年之前 服务器直连存储
5年以前
服务器 直连
外部存储
变化的驱动力: • 服务器闪存 • 多核CPU • 虚拟化普及 • 云经济 • 数据增长
现在
服务器 直连
外部存储
云 存储
3
IT 基础架构迈向Server SAN和超融合架构
• 可在任何标准 x86 服务 器上运行
• 将 HDD/SSD 池化为共享数据存 储
• 提供企业级的可扩展性和性能 • 基于策略的自动化,满足SLA, 可按虚机甚至vmdk级别的颗粒度 设置存储策略 • 与VMware产品体系深度集成
VSAN 数据存储
用来取代vSphere后端的传统外置磁盘阵列
存储策略决定服务级别(包括确定数据如何布局)
– 闪存读取缓存预留 Flash read cache reservation
• 预留闪存容量,作为存储对象的读取缓存。 • 用于提升性能,缺省为0,最大100%。
白银级 可用性 = x 性能 = y 容量 = z
– 强制调配 Force provisioning
• 在数据存储不能满足资源时是否进行调配。
全球超融合系统市场状况
Traditional SAN/NAS CAGR1:
- 17.8%
$3.9B $3.2B $2.4B $1.6B $.8B 2015 2016 2017 2018 2019
1 Wikibon
Enterprise Server SAN CAGR1:
44.2%
Server SAN Research Project 2014
分布式存储 VSAN 技术介绍
VSAN是:内嵌在vSphere内核的分布式的对象存储
聚合了虚拟化管理程序的极其简单的虚拟机存储
概述
• 软件定义的存储针对虚拟机进行 了优化 vSphere + Virtual SAN .. .
SSD 硬盘 SSD 硬盘 SSD 硬盘
• 超融合体系架构(分布式,横向 和纵向扩展)
硬盘
SSD
硬盘
VSAN 数据存储
所有虚拟机 I/O 均指向 SSD。写入内容稍后会转储到 HDD。 如果请求的读取数据块不在缓存中,会将该请求定向到 HDD
Virtual SAN - 可用性与性能
虚拟机 1 的副本与条带 虚拟机 2 的副本与条带
VSAN vSphere
2…6 4
SSD
硬盘
SSD
硬盘
虚拟机存储配置方式比较 需要操作
Raid组创建 LUN划分 Zoning LUN Masking/Mappin g 多路径软件安装 配置 Disk Group创建
传统 存储
VSAN
更快速
更可靠
分布式存储架构,节点冗余技术,消除存储单点故障风险
更高效
• • • • 融合部署,提升资源利用率 最短存储路径,虚拟机感知的虚拟化存储池 降低外部存储的配置成本 互联网存储模式,符合未来数据中心虚拟化 的发展方向
Source: IDC Hyperconverged Systems 2015-2019 Forecast
软件定义的存储 – Server SAN 计算与存储的融合
当今 未来
• • 一切以计算为核心 与CPU/Memory 捆绑

Hot Edge • •
低延时
通过虚拟化层访问虚拟化 存储 闪存主宰性能
9
软件定义存储分类: 控制平面 + 数据平面
控制平面是关键
根据不同的工作 负载来动态分配 存储资源。 Hypervisor/OS ,或者云管理软 件具有优势。
软件定义存储的分类 (存储资源由软件来自动控制,即存储策略驱动) Data Plane (数据平面)
1)基于商用的硬件 • 包括了IDC分类中VirtualStorage Appliance(简称VSA)和 PhysicalStorage Appliance (简称PSA)两类。 • Server SAN/HCI里有: VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL Fluid Cache、HPStorVirtual、 RedHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta 、SimpliVity、ScaleComputing、Pivot3等; • 国内有:华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、 大道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN;开源的 有OpenvStorage(类似Nutanix架构); • 在ServerSAN里,非超融合架构(也即不提供计算资源)的有:主要 是分布式文件系统,如GPFS、Lustre、Panasas等; • 其他SDS有:飞康、DataCore、Nexenta、国内的InfoCore(信核)等 ,还有其他支持SolarisZFS的存储;另外还有开源的FreeNAS、 NAS4Free等 11
软件定义存储的分类 (存储资源由软件来自动控制,也即存储策略驱动)
DataPlane (数据平面) (续) 2)传统的 SAN/NAS(ExternalStorage) • 支持SPBM(如Virtual Volumes),或者OpenStack Cinder的传统外置 磁盘阵列 3)Cloud/Object Storage • 做为DataPlane的组成部分,实际上是以后端存储的身份为VM/App提 供存储资源的。 • 私有云和公有云之间,能在存储级别,实现存储的备份、归档和容 灾。运行在公有云之上的VSA,即可与本地存储建立数据交换。 如:NetApp的CloudONTAP、SoftNAS、Zadara等 ControlPlane (控制平面) 1)VMware SPBM;2)OpenStack Cinder ;3)EMC ViPR;4) ProphetStor (希智)的Federator; • 未来几年内,会有越来越多的数据平面(Data Plane)的存储产品,向 控制平面开放API,支持存储策略驱动。
12
软件定义存储的发展: 过去、现在和未来 传统共享存储阵列的时代
SSD出现之前,CPU发展速度是磁盘的几十万倍
软件定义存储的现在
SSD和高速网络的出现,改变了存储的游戏规则–未来的主流是分布式
2014年04月30日, SanDisk发布 世界上第一款4TB SSD;
2015年3月,SanDisk推出的 InfiniFlash,单卡容量达8TB的闪 存卡(64个); 2015年08月11日, 三星在闪存峰 会上公布世界容量最大的2.5英寸 硬盘: 16TB SSD PM1633a。 相比之下,希捷或西部数据制造 的容量最大的机械硬盘只有8TB 或10TB
SSD
硬盘
• 虚拟机存储对象(主目录、VMDK、增量、交换)可以分布在 VSAN 集群中的多个主机和磁盘
内。 • 虚拟机可以使用复制副本提供可用性,或使用条带提供 HDD 性能
Virtual SAN - 恢复能力极强
Virtual SAN 数据 存储集群
通过虚拟机的存储策略实现存储自动分配
按照存储策略为虚拟机调配存储资源。 策略在创建后便向下发送到VSAN,然后按照策略中的功能实例化虚拟 机对象。 借助VSAN,单个数据存储现在可以针对各个虚拟机或各个虚拟磁盘强 制实施不同的服务质量 (QoS) 级别。
软件定义存储是云数据中心的重要组成部分
软件定义的存储 –
目前的方式
特点
• 软件定义 的存储 抽象与池化
Replication
Snapshots
LUN
LUN
LUN
LUN LUN
Hypervisor Converged Pool
SAN/NAS Pool
Object-based Pool
以虚拟机为核心的 自动化SLA设定 以虚拟机为粒 度的数据服务
Array A
Array B
虚拟化层
x86 Servers
虚拟 SAN
SAN / NAS
Cloud Object Storage
虚拟存储卷
8
软件定义存储的分布式扩展性
横向扩展
分布式可扩展性:
纵向扩展
添加更多磁盘
添加更多节点
XX PB XXX TB XX TB 容量 IOPS
相关主题