当前位置:文档之家› FAST (全自动分层) VP for 统一存储 VNX

FAST (全自动分层) VP for 统一存储 VNX

1. 自动分层存储技术概念解释自动分层存储(Automated Tiered Storage management,ATS)管理系统的基本业务是能够将数据安全地迁移到较低的存储层中并削减存储成本。

在其他的情况下,有必要将数据迁移到更高性能的存储层中。

自动存储分层(AST)在于两个目标–降低成本和提高性能。

从 I/O 角度来看,AST 的主要目标是将随机 I/O 尽可能多地转移到高性能介质(闪存)上,以最大程度地减少 HDD 上的随机 I/O 负荷,并减少平均延迟。

随机I/O 和顺序 I/O 之间的区分非常重要,因为对于连续读写,闪存与 HDD 相比性价比优势并不明显(原因在于 HDD 非常适于处理顺序 I/O)。

目前最常见的“Sub-LUN”式自动分层存储技术,基本上可视为是三个功能的综合:(1)存储虚拟化:将分散在不同存储层的磁盘区块,组合成虚拟的Volume或LUN.也就是将Volume或LUN的区块分散到不同存储层上。

(2)存取行为的追踪统计与分析:持续追踪与统计每个磁盘区块的存取频率,并透过定期分析,识别出存取频率高的“热”区块,与存取频率低的“冷”区块。

(3)数据迁移:以存取频率为基础,定期执行数据搬移,将热点区块数据搬移到高速存储层,较不活跃的冷区块数据则搬移到低速存储层。

由于存取行为追踪统计分析与数据迁移作业,都会消耗磁盘阵列控制器的能效,因此多数自动分层存储,都会提供预设操作功能,让使用者设定允许系统执行统计分析与数据迁移操作的时间区段,以便避开存取高峰时段,如可设定为只允许在晚上7点以后、或周五晚上到周日凌晨等下班时段,执行分析与迁移操作。

实现 AST 的两种不同方式:迁移与缓存基于迁移的 AST 可自动化数据迁移的流程。

当一个数据块被确定为“热”数据时,会将该数据块移至速度较快的介质,当该数据块变“冷”时,会将其移回速度较慢的介质。

移入和移出闪存都需要访问 HDD。

对应于VNX的FAST VP。

基于缓存的 AST 使用广为人知的缓存方式将热数据“提升”到高性能的介质中。

由于 HDD 上仍保留有数据的副本,因此当数据变“冷”时,只需将其从缓存中释放即可,而不需要额外的 HDD I/O。

对应于VNX的FAST Cache。

2. 自动分层存储产品日立日立数据系统公司(HDS)的AST支持跨所有产品线的盘阵间分层。

HDS公司提供了一个Data Center Management套件,包含配置管理、调优管理和分层存储管理。

HP HP的3PAR产品线,是AST的新成员,大约在一年前推出了这个功能。

3PAR支持三层,但在很大程度上取决于用户如何配置它们。

HP推荐检视应用的使用方式,然后确定不同层的尺寸。

它的Adaptive Optimization工具用来检视和规划层的大小。

IBM IBM公司的Easy Tier产品支持Storwize V7000, DS8700, DS8800和SAN Volume Controller产品。

目前,Easy Tier支持两层,一层必须是固态硬盘。

每隔24小时,该产品会分析性能指标,并生成数据迁移的计划。

数据迁移以1GB 为单位,迁移频率不会低于每五分钟以避免性能中断。

Easy Tier是磁盘阵列的一个功能,是免费的。

NATAPP 基于缓存的AST方式,参见《解析自动存储分层和NetApp虚拟存储层》Dell Compellent自动分层存储技术先驱厂商Compellent已在2010年底为Dell 并购,Compellent的Storage Center系列存储设备与Data Progression自动分层存储技术,也都被纳入Dell旗下。

EMC 自2009年以来,EMC已先后推出两代全自动存储分层(Fully Automated StorageTiering,FAST)技术。

第1代的FAST 适用于EMC的CLARiiON、 Symmetrix等存储产品系列,不同产品线的FAST功能在设定与执行的细节上略有差异,但基本运作方式是一致的。

不过FAST 以整个LUN为自动迁移的单位,精细度显然过于粗略,能达到的分层最优化效果有限,执行迁移所耗费的资源也相当大,技术落后其他厂商有相当距离,目前已被第2代FAST取代。

第2代FAST 称为FAST VP(VP为Virtual Pool的缩写),FAST VP采用Sub-LUN层级的自动迁移技术,即数据的精细度优于LUN,可搭配Symmetrix VMAX与新推出的VNX整合存储产品。

3. EMC FASTEMC其实有三种FAST(Fully Automated Storage Tiering),均为自动分层的技术。

∙Celerra FAST:Celerra全自动存储分层 (FAST) 允许根据信息在整个生命周期内的价值自动将其移动至相应的存储层,从而可以管理文件存储空间的使用情况。

Celerra FAST 支持EMC Atmos®,后者是专门通过低成本、高密度硬件提供巨大的可扩展性和简易管理的存储平台。

Celerra FAST 还支持 EMC C entera® 上的分层,从而允许利用该平台的内容真实性和保留功能。

利用 EMC Centera 的内容寻址(数字指纹),一个对象只存储一次,因而可确保其真实性并减少宝贵的磁盘空间使用量。

保留保护可确保在记录的保留期过期之前不会过早擦除该记录。

∙Symmetrix FAST: 参见EMC官网,基本和CLARiiON的FAST差不多。

∙CLARiiON FAST VP: CLARiiON 全自动存储分层 (FAST) 可将数据移动到更高性能或经济实惠的存储,以满足严苛的应用程序服务级别并提高存储效率。

Celerra FAST实际上就是EMC File Management Appliance–1种独立安装部署的自动化归档/迁移应用硬件-的另一种包装,不过随着新一代VNX整合存储产品系列的推出,Celerra FAST也被VNX上的FAST VP取代,只剩下作为独立产品的EMC File Management Appliance,不再冠以Celerra FAST这种容易造成混淆的称呼。

4. FAST VP for VNX4.1 FAST VP 概述FAST VP全称指Fully Automated Storage Tiering Virtual Pool而不是Fully Automated Storage Tiering Virtual Provisioning。

VNX FAST VP采用了Sub-LUN 层级的自动迁移技术,即数据的精细度优于LUN,slice为1GB。

4.2 FAST VP Enabler4.3 Storage pool一个Storage pool中可以使用3种不同的disk,在Storage pool里的LUN将自动分布在3层:1.Extreme Performance Tier – Flash drives2.Performance Tier – SAS drives for VNX platforms and FibreChannel drives for CX4 platforms3.Capacity Tier – Near-Line SAS (NL-SAS) drives for VNX platformsand SATA drives for CX4 platformsStorage pool支持Thin LUN与Thik LUN,当然FAST VP也支持两种LUN。

Thick LUN即传统LUN,Thin LUN即只分配Host真正需要的空间。

Thick LUN s are high-performing LUNs that use contiguous logical block addressing on the physical capacity assigned from the pool. Thin LUNs use a capacity-on-demand model for allocating drive capacity. Capacity usage is tracked at a finer granularity than thick LUNs to maximize capacity optimizations.传统RAID Group由于只能使用一种Disk,因此不能做自动分层,可以使用LUN 迁移工具来做迁移。

参见《迁移CLARiiON数据到VNX平台-使用MirrorView 》与《迁移CLARiiON数据到VNX平台-使用SAN Copy 》。

4.4 FAST VP 算法FAST VP使用了3种机制来判断以及移动slice到正确的存储层:Statistics collection 一个slice上的数据是否比另一个slice热或冷取决于这两个slice上数据访问的相关性。

FAST VP通过维持一个IO计数器来衡量某个slice最近访问的权重,该权重随着时间而减弱。

新IO给予最高的权重,24小时后权重减半,一周后权重就非常少了。

analysis 每隔一个小时,FAST VP就会根据收集来的权重进行Storage Pool 内的热度排名。

注意是单个Storage Pool,所以一个Storage Pool的最热的slice 可能还不如另外一个Storage Pool最冷的slice热。

relocation 在用户设置好的时间内,FAST VP根据热度排名和用户设定好的规则来对1GB的slice进行自动分层。

FAST VP会把最热的slice分配到性能最好的层;slice只会在比它更热的slice需要它所占用的空间时才会被移动到低一级存储层。

这样的话,性能最好的层总能得到最大的利用。

relocation可以手工触发或用户可配置的计划触发。

最密集可设定每天重新配置一次。

为避免重新配置的数据迁移动作耗用太多I/O资源,还可设定每次操作允许搬移的数据量。

4.5 Storage pool的FAST VP 属性每一个Storage pool可以具有不同的属性:relocation的计划任务设置如下,当然你也可以在配置发生更改是手工触发relocation:4.6 FAST VP LUN的分层管理有些FAST VP 属性可以在LUN这一级别进行管理:(1) 自动分层(Auto Tier):预设政策,将数据分散存放到横跨所有层级磁盘的存储池上,后续再依追踪到的数据活跃程度,在不同层级磁盘间自动迁移(2) 优先最高分层(Highest available tier):尽可能将数据放到高速层磁盘,以提高效能。

相关主题