– 存储空间不足； – 尽量避免存储相同文件，提高存储空间的利用率。
网络拓扑
项目分析
• 公司员工为方便工作，经常会在不同文件夹中存放了大量的相同文件， 并且基本不整理，这直接导致存储空间被大量的重复数据占用。在网 络存储中，为解决大量的重复数据存储问题可以采用重复数据删除技 术，它可以最大限度避免重复数据占用存储空间。
– 不可逆转，无法通过hash值计算出源文件
文件级
• 对于已经存储在存储系统中的文件，会先计算出它们各自的hash值， 并将这些hash函数值组织成hash函数库，单独存储起来
• 当有新的准备存储的文件到达存储系统以后，会先计算这些新文件的 hash值，再将这些hash值与hash函数库进行比较，则可以判定文件有 无重复
• 当然，解决上述问题后，如果空间仍然不足，则需要通过在线扩容扩 展磁盘空间，确保文件服务器的正常运营。
– 如果发现hash值已经存在库中，只要将指向这个hash函数值所代表的数 据块的指针存入相应的位置即可 – 如果不在数据库中，则将实际存储到系统中，并将hash值添加到函数值 库
优点
• 重复数缩性和性能 – 可靠性和数据完整性
要求
• 作为重复数据删除候选的卷必须符合下列要求:
• 其结果是对每个文件执行磁盘内转换。文件不再作为独立的数据流进 行存储，而是替换为指向存储在通用存储位置的数据块的存根。
重复数据删除技术
Windows Server 2012的重复数据删除技术
• 在Windows Server 2012的重复数据删除功能中，它可以实现块级和 文件级的重复数据删除
项目7
存储服务器重复数据删除的配置与管理
• 重复数据删除技术
重复数据删除技术
• “重复数据删除”的目标是通过将文件分割成小的 (32-128 KB) 且 可变大小的区块、确定重复的区块，然后保持每个区块一个副本，在 更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用 所取代。此外，还会对区块进行压缩以便进一步优化空间。
– 不能是系统卷或引导卷。重复数据删除在操作系统卷上不受支持。 – 卷可为分区的 MBR 或 GPT，并且必须使用 NTFS 文件系统格式化。 – 卷可以驻留在共享存储（如光纤通道或 SAS 阵列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障转移群集。群集共享卷 (CSV) 不受支持。 – 卷必须向 Windows 公开为不可移除的驱动器。 – 远程映射驱动器不受支持。
项目背景
• 为方便员工办公，公司在网络存储上建立了一个共享目录供公司各个 部门存放数据，使用一段时间后，存储管理员发现目前存储空间已经 告急。存储管理员在仔细分析磁盘空间情况后，发现在不同目录下存 放着大量的相同文件，比如：公司产品视频、产品资料等。
• 为此公司希望管理员能尽快采取措施解决存储存在的两个问题：
– 如果发现hash值已经存在库中，只要将指向这个hash函数值所代表的文 件的指针存入相应的位置即可 – 如果发现新的hash值 ，除了将文件存储起来之外，还要更新函数值库
块级
• 文件分割成固定大小的数据块，再对数据块计算hash函数值，再构造 一个函数值库
• 当有新的数据需要存储时，用每块的hash函数值与函数值库进行比较
注意事项
• 对超过以下时间的文件进行删除重复 默认3天
• 磁盘不会立即对存放的数据内容进行重复数据删除处理，这保证了数 据写入和读取的性能不会受到重复数据删除功能的影响 • 重复数据删除允许对卷中的目录或文件类型进行排除，被排除的文件 类型和目录将不会进行该功能的处理
• 应用重复数据删除功能的前提：应用本身会有很多重复的数据，否则 由于过多存储了文件的hash函数值，会导致存储性能下降。
– 块级：如果磁盘的多个区块存放着相同的数据，则存储只需存放一份。 – 文件级：如果磁盘中存放着多个相同的文件（哈希值相同），则存储只 需存放一份。
hash
• Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任 意长度的输入（又叫做预映射， pre-image），通过散列算法，变换 成固定长度的输出，该输出就是散列值。
可能遇到的问题
• 在基于块的备份解决方案中，例如磁盘映像备份的方式，备份将会保 留所有的重复数据删除的数据。
• 一般情况下，基于文件的备份解决方案中，他们将不会保留重复数据 删除的数据，除非它们是重复数据删除感知的。它们将以没有重复数 据删除的形式备份一切。这意味着需要准备更大的备份媒介才能存放 这些数据。 • Windows Server Backup解决方案是重复数据删除感知的，而其它第 三方产品需要预先进行测试是否被支持。