转载请在文首保留原文出处：EMC中文支持论坛https://community.emc.com/go/chinese

SmartDedupe是Isilon 7.1版本中推出的一种数据消重技术，可以为目录级别的文件进行消重。SmartDedupe数据消重技术是在不影响性能的情况下进行，可以帮助您减少存储容量、电源和数据中心空间需求。在实际执行重复数据消除之前，您可以估计某个特定目录或某组目录中可能的空间节省，还可以通过使用简单易用的SmartDedupe 管理工具查看群集容量，使用图和重复数据消除报告摘要表轻松地持续监视节约的磁盘空间量。

SmartDedupe通过减少重复数据所需的物理存储量，最大限度提高了群集的存储效率。通过扫描磁盘数据中的相同数据块，然后消除任何重复数据块来实现高效率。这种设计意味着初始文件写入或修改性能不受影响，因为在写入路径中无需其他计算。

在SmartDedupe首次运行时，它会扫描数据集并对其中的数据块进行选择性采样，从而创建指纹索引。扫描索引中是否存在重复项，如果找到匹配项，将执行数据块的逐字节比较以确认它们完全相同并确保没有哈希冲突。如果确认数据块是相同，将从实际文件中删除重复数据块替代为指向卷影存储的指针。这种方法被称为后处理或异步重复数据删除。由于新数据是被首先写入存储设备，然后在随后的过程中对数据进行分析对比，因此初始写入性能不会受到影响，也没有额外计算用于写入路径。

SmartDedupe架构

EMC Isilon SmartDedupe主要由下面五部分组成：

• Deduplication control path

包括EMC Isilon OneFS操作系统网页管理端口、命令行界面和RESTful API平台，并负责管理Deduplication job的配置、调度和控制。

• Deduplication job

用于管理整个群集中所有节点重复数据删除的后台进程，包括控制文件系统扫描，检测，共享匹配数据块。

• Deduplication engine

主要负责取样，指纹识别和匹配。

• Shadow store

文件系统容器，通过共享方式保存数据。

• Deduplication infrastructure

主要负责合并共享数据块到shadow stores。

SmartDedupe配置演示

下面我们将在OneFS 7.1版本实验机上演示SmartDedupe配置过程和数据消重效果：

第一步：登录Isilon实验机，配置SmartDedupe评估目录，评估数据消重能够节省的空间。本例测试目录为：/ifs/Demo_Data/Data/”Legal Discovery”。

第二步：开始Deduplication评估工作。

注：Isilon数据消重评估不需要SmartDedupe特殊许可证。

第三步：查看Deduplication评估报告。报告可以看到预测系统通过数据消重后，可以节省的空间百分比：

第四步：指定目录启动Deduplication功能。

第五步：启动Deduplication功能，并查看job运行情况。

第六步：查看Deduplication报告。本文件启用数据消重后节约79.6159%的空间，共计450.7M。

了解Isilon SmartDedupe功能。