业界第一个普遍意义的重复数据删除技术 到2008年5月，已经安装了~6,600 个许可
– 系统总容量约 185PB – 平均空间节省达 30%
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
SATA – Based Systems RAID-DP
Primary (FC) Primary & NearStore (SATA) Dedupe Space Savings “Other” Space Savings
A-SIS Deduplication Upcoming Features
© 2008 NetApp. All rights reserved.
Deduplication + Replication: Qtree SnapMirror (QSM)
在二级中心提高物理存储的效率 操作平滑、透明 对主存储无任何负载影响
NetApp 生产存储 A-SIS 优化存储
异构存储产品
A-SIS deduplication
V-Series
QSM
7
Deduplication “数据块级” 重复项合并
原始数 据文件 重复数据 块确认 重复数据 块移除
(在字节级校验后)
对于应用和用户来 说文件没有任 何变化
应用透明的重复项合并 显著的容量节省：
– 备份数据 – 归档数据 – 访问压力不大的主数据
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 8
– 用户文件
– 35% 空间节省
试验计量厂商
– 每天的数据库备份
– 98% 空间节省
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 23
A-SIS Deduplication 使用举例 #1: 备份数据
实现的技术：WAFL 数据块共享
Deduplication 在 WAFL 文件系统树中实现数据块共享 一个单独的数据块可被索引 256 次
INODE 1
INODE 2
IND
IND
IND
IND
DATA
DATA
DATA
DATA
© 2008 NetApp. All rights reserved.
19
A-SIS 应用场景
应用场景
1. 2. 3. 4. 5. 实时性要求不高的主存储应用 数据库 dump 其他归档应用 QSM 归档 分级存储迁移
每个场景的三种部署：
1. NearStore Only 2. NearStore + 磁带备份 3. NearStore + VSM DR
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 20
Tag line, tag line
NetApp 重复数据删除技术
吴立湘 技术顾问
议题
What’s dedupe? And Dedupe on FAS
– 原理和特性 – 配置要求 – 典型场景应用详解
Dedupe On VTL 竞争分析
– EMC Avamar – EMC VTL
© 2008 NetApp. All rights reserved.
基于时间的重复项扫描 从若干个备份拷贝中去除重复项 空间节省率随者时间的推移而提 高 每次备份结束运行Deduplication 重复项扫描 节省可见空间率: 20:1甚至更多
Volume Deduplication
Original Data Volume Duplicates Identified And Removed Actual Storage Consumed
最小化的开销
– 写开销 <10% – 读开销 0% – 容量开销 1-3%
Data Ontap 7.2.4以后在任意有 NearStore 授权的 FAS 和 R200 的存储上免费提供
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 6
在主数据中心和二级中心提高物理存储的效率 操作平滑、透明 网络利用率 – 降低数据传输总量
A-SIS 优化存储 A-SIS 优化存储
A-SIS deduplication
A-SIS deduplication
网络效率 降低网络传输的数据总量
VSM
Site A, e.g. 远程办公室 Site B, e.g. 中心站点
卷的重复项扫描 在单一的卷中去除重复的数据 适用于归档和压力不大的主存储 系统 Deduplication周期性地基于变化 进行重复项扫描 节省体现为全卷的百分比
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
NetApp Confidential -- Do Not Distribute
2
NetApp Deduplication History
NetApp Deduplication for FAS:
以前的名称 “A-SIS deduplication” Supports R200, FAS2000, FAS3000, FAS3100 and FAS6000 注：最小支持版本 7.2.4
3
支持Deduplication的FAS系统
FAS 3100 Series NetApp Deduplication
FAS6040 FAS6080
FAS3070 FAS3040
Before
After
FAS3020
FAS2050 FAS2020
New in ONTAP 7.3
NetApp Deduplication for V-Series
Volume SnapMirror (VSM) De-duped image is mirrored-
Volume SnapMirror (VSM)
Saves network bandwidth and storage space on both NearStore units
Primary Storage NetApp or 3rd Party
NearStore
NearStore
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
24
A-SIS Deduplication 使用举例 #2: 归档文件
A-SIS Deduplication: 当数据变化量超过20%时自动运 行
两种方式从Deduplication for FAS中获益
Time-Based Deduplication
Backup 1 Backup 2 Backup 3 Backup 4
Original Data Deduplicated Data New Data
Actual Storage Consumed
排序
Path /vol/vol5
State Enabled
Status Progress Active 25 MB Searched
重复删除
Path
State
Status Progress
/vol/vol5
Enabled
Active
40MB (20%) done
核验
Path
/vol/vol5
State
FC/IP SAN -orCIFS/NFS
Volume SnapMirror (VSM)
NetApp Confidential -- Do Not Distribute
5
Deduplication for FAS
高级单一实例存储
– 数据块级重复识别
卷级操作 – 支持任何协议
– CIFS/NFS, FCP/iSCSI, FTP, HTTP, NDMP
应用透明
– Content Agnostic
一个NearStore系统上同时8个dedup进程 – 在已有8个dedup进程运行的情况下
手工发起的新进程会失败 自动计划执行的进程会进入排队队列等待
Hale Waihona Puke 一个Flexvol上同时1个dedup进程
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
NearStore Site B, e.g. 容灾站点
NetApp Confidential -- Do Not Distribute 21
Site A, e.g. 数据中心
© 2008 NetApp. All rights reserved.
Deduplication + Replication: Volume SnapMirror (VSM)
NetApp Confidential -- Do Not Distribute
9
Deduplication: “sis status” 进度信息和阶段
Filer> sis status
收集
Path /vol/vol5