Data Domain. Часто задаваемые вопросы по Retention Lock

Что такое блокировка хранения?
Блокировка хранения — это функция, которая используется в системах восстановления Data Domain (DDR) для предотвращения изменения или удаления определенных наборов файлов в течение заданного периода времени. То есть, заблокированные для хранения файлы доступны только для чтения до истечения срока их хранения.

Какие существуют различные версии блокировки хранения?
Блокировка хранения доступна для двух различных функций:

• Управление. Менее строгая из двух функций блокировки хранения (блокирует файлы, при необходимости ее можно отменить).
• Комплаенс. Более строгая из двух функций, которая соответствуют нескольким общим нормативным стандартам. Это означает, что отменить блокировку файлов невозможно. Память DDR должна быть настроена сотрудником службы безопасности, который должен выполнить аутентификацию определенных команд. Существуют различные ограничения на использование других функций, которые предотвращают удаление заблокированных данных или раннюю разблокировку.

Какие протоколы доступа к данным поддерживаются для блокировки хранения?

• Протоколы NFS, CIFS и DD Boost полностью поддерживаются в MTree с использованием режима управления или комплаенса для блокировки хранения.
• Протокол виртуальной ленточной библиотеки (VTL) поддерживается только для MTree, использующих режим управления для блокировки хранения. Автоматическая блокировка хранения не поддерживается в Data Domain VTL. Информацию о том, как разблокировать ленточные накопители, на которые можно записать данные, см. в «Руководстве по администрированию Data Domain».

Режим комплаенса для блокировки хранения соответствует нормативным стандартам.
Список нормативных стандартов, которым соответствует режиму комплаенса блокировки хранения, включает в себя следующее:     

• SEC 17a-4(f)
• CFTC Rule 1.31b
• FDA 21 CFR Part 11
• Sarbanes-Oxley Act
• IRS 98025 и 97-22
• ISO Standard 15489-1
• MoREQ2010

Для получения полной информации о сертификации обратитесь к своему поставщику услуг поддержки.

Как включить режим управления для блокировки хранения?

• В DDR добавляется лицензия управления для блокировки хранения.
• Режим управления блокировкой хранения включен для любого необходимого Mtree:     

# mtree retention-lock enable mode governance mtree [mtree]

Как включить режим комплаенса для блокировки хранения?

• Для некоторых новых моделей Data Domain с iDRAC существуют специальные инструкции.
• В DDR добавляется лицензия комплаенса для блокировки хранения.
• Необходимо создать пользователя с ролью «security» (при условии, что такой пользователь не существует).     

(ADMIN USER) # user add [username] role security

•  Пользователь с ролью «security» должен войти в DDR и включить авторизацию пользователей системы безопасности.     

(SECURITY USER): # authorization policy set security-officer enabled

• Система должна быть настроена на режим комплаенса для блокировки хранения. После выполнения следующей команды система автоматически перезагружается:     

(ADMIN USER) # system retention-lock compliance configure

• После перезагрузки системы необходимо включить режим комплаенса для блокировки хранения в системе:     

(ADMIN USER) # system retention-lock compliance enable

• Режим комплаенса блокировки хранения включен для любого необходимого Mtree:

(ADMIN USER) # mtree retention-lock enable mode compliance mtree [mtree]

Как определить, в каких MTree включена блокировка хранения?
MTree с включенной блокировкой хранения указываются в выходных данных mtree listНапример:

sysadmin@ddxxxx# mtree list
Name                                Pre-Comp (GiB)   Status    Tenant-Unit
---------------------------------   --------------   -------   -----------
...
/data/col1/rich-retention-lock                 0.0   RW/RLGE   -
/data/col1/rl_test                             0.0   RW/RLGD   -
/data/col1/rl_test_comp                        0.0   RW/RLCE   -
/data/col1/test                                3.1   RW/RLGE   -
...
---------------------------------   --------------   -------   -----------
...
 RLGE : Retention-Lock Governance Enabled
 RLGD : Retention-Lock Governance Disabled
 RLCE : Retention-Lock Compliance Enabled

Можно ли преобразовать MTree с включенным режимом управления для блокировки хранения в режим комплаенса для блокировки хранения?
Как указано в Руководстве по администрированию DDOS, это невозможно.

Можно ли преобразовать MTree с включенным режимом управления для блокировки хранения в режим комплаенса для блокировки хранения?
Как указано в Руководстве по администрированию DDOS, это невозможно.

Как установить сроки хранения или блокировки файлов?
После включения блокировки хранения для MTree необходимо установить минимальный и максимальный период хранения. Эти периоды определяют минимальное и максимальное время, в течение которого файл в MTree может быть заблокирован. Пример.     

# mtree retention-lock set min-retention-period [period] mtree [mtree]
# mtree retention-lock set max-retention-period [period] mtree [mtree]

Периоды могут быть указаны в различных единицах измерения следующим образом:     

• 1 мин
• 1 ч
• 1 д
• 1 мес
• 1 г

Как можно отобразить существующие периоды хранения?
Это можно сделать с помощью следующих двух команд:     

# mtree retention-lock show min-retention-period mtree [mtree]
# mtree retention-lock show max-retention-period mtree [mtree]

Пример.     

sysadmin@dd630# mtree retention-lock show min-retention-period mtree /data/col1/rl_test
Retention-lock min-retention-period of mtree /data/col1/rl_test is: 720 minutes.
sysadmin@dd630# mtree retention-lock show max-retention-period mtree /data/col1/rl_test
Retention-lock max-retention-period of mtree /data/col1/rl_test is: 30 days.

Как заблокировать файлы в MTree с включенной блокировкой хранения?

• Если включена блокировка хранения для MTree, существующие файлы в MTree не блокируются автоматически (то есть все существующие файлы остаются в состоянии чтения или записи).
• При записи нового файла в MTree с включенной блокировкой хранения этот файл не блокируется автоматически. Таким образом, новый файл остается в состоянии чтения или записи.

• Чтобы заблокировать хранение определенного файла, необходимо изменить параметр atime файла, чтобы он совпадал с датой и временем блокировки хранения. Это дата и время, до которых файл должен оставаться в режиме только для чтения. До тех пор, пока параметр time не будет изменен таким образом, хранение файла невозможно заблокировать (и его можно изменить или удалить).

Время ожидания файла можно изменить из клиента NFS или CIFS с помощью команды «touch»:

# touch -a -t [expiry time] [file to be locked]

Например, чтобы установить для параметра atime файла /data/col1/rl_test/testfile значение 07:05 8 июня: 

# touch -a -t 06080705 /data/col1/rl_test/testfile

Период от текущего времени до будущего atime должен находиться в пределах минимального и максимального периодов хранения для MTree. В противном случае при изменении файлов возникает ошибка:

# touch -a -t 08080705 /data/col1/rl_test/testfile
touch: setting times of `/data/col1/rl_test/testfile': Permission denied

Соответствующее сообщение также отображается в файлах журнала файловой системы Data Domain (DDFS).

06/07 13:44:57.197 (tid 0x2b28ee5258c0): Attempt to set atime of /data/col1/rl_test/testfile to larger than maximum retention period of mtree.

Клиенты CIFS (Windows) по умолчанию не включают команду «touch» или утилиту, однако некоторые такие утилиты доступны для скачивания с различных сторонних сайтов.

Какие приложения резервного копирования поддерживают автоматическую блокировку хранения файлов после их записи в DDR?
Data Domain Retention Lock совместим со стандартными протоколами WORM (однократная запись, многократное чтение) на основе NAS. Интеграция сертифицирована для приложений архивирования, таких как Symantec Enterprise Vault, SourceOne, Cloud Tiering Appliance или DiskXtender.

Для Dell NetWorker поддерживается как режим управления, так и режим комплаенса.

По состоянию на июнь 2024 года, последние версии Avamar поддерживают Data Domain Retention Lock в режиме управления и комплаенса как часть функциональности Avamar «Неизменяемые резервные копии». Подробные сведения см. в документации Avamar и в этой статье:
Avamar и Data Domain. Включение неизменяемых резервных копий Avamar и режима комплаенса Data Domain Retention Lock

Критически важно строго соблюдать шаги, необходимые для включения функции Avamar «Неизменяемые резервные копии». В противном случае в системе DD будет MTree Avamar, на который не могут быть записаны дополнительные данные, или на котором происходят операционные проблемы, что приводит к длительному восстановлению. Avamar не работает с DD Automatic Retention Lock (ARL), а ARL не должен быть включен для любого MTree Avamar в DD.

Заказчики, использующие другие приложения резервного копирования, которые изначально не поддерживают Data Domain Retention Lock, могут также разработать пользовательские сценарии использования Data Domain Retention Lock для установки сроков хранения файлов вручную. В этом сценарии убедитесь, что пользовательские сценарии устанавливают значение atime, чтобы файл был разблокирован перед попыткой его удаления приложением резервного копирования. В противном случае приложение резервного копирования может попытаться удалить заблокированные файлы (что приведет к сбою); файл остается в DDR на неопределенное время, занимая дисковое пространство. См. «Руководство по администрированию Data Domain».

Автоматическая блокировка хранения
Для приложений резервного копирования, которые изначально не поддерживают функцию Data Domain Retention Lock, заказчики всегда сталкивались с проблемами при использовании этой функции. Администратор резервного копирования должен настроить сценарии для установки блокировки хранения новых полученных файлов для MTree. Блокировка должна быть установлена таким образом, чтобы срок ее действия заканчивался незадолго до завершения срока хранения (и удаления) резервной копии администратором резервного копирования.

ARL устанавливает блокировку для каждого файла, записанного в MTree после включения функции, предотвращая изменение или удаление файла в течение заданного периода времени после истечения заданного периода ожидания. Это означает, что ARL не следует включать для рабочих нагрузок или приложений резервного копирования, которые должны периодически обновлять некоторые файлы, например, в пулы VTL (на ленты VTL постоянно выполняется запись), или для приложений резервного копирования, которые сохраняют метаданные вместе с файлами резервного копирования заказчика (например, NetWorker или Avamar). Если включить ARL в этих экземплярах, чтобы заблокировать важные файлы на некоторое время, а затем в эти файлы должны быть записаны другие резервные копии, запись завершается сбоем, как и последующие операции резервного копирования.

Чтобы помочь администратору резервного копирования снизить нагрузку на поддержание блокировки хранения файлов резервного копирования и обеспечить возможность использования функций DDOS на одном уровне с другими поставщиками, так как в интерфейсе командной строки DDOS 6.2.0.20 можно включить функцию для каждого MTree с настроенной функцией Retention Lock, чтобы установить блокировку для каждого принятого файла (в течение заданного периода), по истечении определенного периода времени с момента завершения записи файла на диск. Таким образом, администраторам больше не нужно беспокоиться о настройке блокировки хранения вручную (или с помощью сценариев), это может происходить автоматически без взаимодействия с приложением резервного копирования. 
До DDOS 7.8 автоматическая блокировка хранения не может быть использована в логических устройствах хранения DD Boost (LSU), и попытка ее включения возвращает ошибку, указывающую на то, что она не поддерживается.
Начиная с 7.8, ARL поддерживается для DD Boost LSU.

(ARL, используемая в целевых DD для MFR (управляемая репликация файлов), например, клон NW, должна иметь достаточно высокое значение «automatic-lock-delay», чтобы гарантировать завершение операций клонирования для набора резервного копирования до того, как для файлов будет установлена блокировка. Пример. Репликация небольшого файла, входящего в резервный набор, завершается быстро, в то время как репликация файла большего размера занимает больше времени. После этого первый файл блокируется к моменту завершения репликации большего файла и происходит ошибка, когда NW пытается переместить все файлы набора резервных копий в окончательный архивный каталог.)

Автоматическая блокировка хранения не поддерживается в Data Domain VTL.

В применимых версиях есть дополнительные параметры в mtree retention-lock CLI, как показано ниже. Эту функцию можно настроить с помощью пользовательского интерфейса, выбрав «Automatic» вместо «Manual» в параметре «Use»:     

# mtree retention-lock set
{min-retention-period | max-retention-period |
automatic-retention-period | automatic-lock-delay} <period>
mtree <mtree-path>

Функция автоматической блокировки хранения блокирует файл сразу после истечения предварительно настроенного периода ожидания (automatic-lock-delay). После записи файла в MTree с включенной блокировкой хранения и блокировка действует на протяжении «automatic-retention-period» с момента установки, если значение находится в пределах «min-retention-period» и «max-retention-period», установленных для MTree, происходит блокировка.

Дополнительные сведения об использовании и общие сведения о функции см. в соответствующем «Руководстве по администрированию DDOS». Эта функция не подходит для ситуаций, когда одно и то же MTree используется в качестве целевого устройства для резервного копирования, в котором должны быть либо наборы блокировок для разных периодов, либо резервные копии, у которых должен быть набор блокировок, и у которых такого набора быть не должно.

Что можно и нельзя сделать с заблокированным файлом?

• Файлы, хранение которых заблокировано, доступны только для чтения и не могут быть изменены или удалены.
• По истечении срока хранения файла он разблокируется — в разблокированном состоянии файл по-прежнему нельзя изменить, однако его можно удалить. DDR не удаляет файл автоматически по истечении срока хранения (последующее удаление должно выполняться из клиентской системы или приложения резервного копирования).
• После установки срока хранения для определенного файла его невозможно сократить (то есть значение atime нельзя изменить на более раннее).
• Однако периоды хранения можно увеличить (время можно увеличить до максимального периода хранения для MTree).
• Настройки прав собственности и разрешений для файла можно изменить, пока файл заблокирован
• Переименовать или удалить каталог в MTree с включенной блокировкой хранения можно только в том случае, если в этом каталоге нет файлов. Если каталог содержит файлы (даже если эти файлы не заблокированы для хранения), происходит сбой переименования или удаления каталога.
• Даже если содержимое файла не изменяется, не разрешается изменять имена (переименование) файлов, для которых задана блокировка, но переименование также запрещено по истечении срока блокировки файла. Для больше не заблокированных файлов разрешена только одна операция — это удаление. Это изменено в DDOS 7.7.4, для больше не заблокированных файлов разрешено переименование.

Можно ли полностью удалить блокировку хранения для файла или набора файлов?
Можно отменить (удалить) блокировку хранения файлов в MTree в режиме управления, это выполняется с помощью следующей команды:     

# mtree retention-lock revert [path]

После удаления блокировки хранения файл можно изменить или удалить обычным образом. Если эта команда выполняется для каталога, то для всех файлов в этом каталоге и во всех подкаталогах будет удалена блокировка хранения.

Невозможно отменить блокировку хранения для файлов в MTree в режиме комплаенса: при попытке выполнения этой операции отображается соответствующая ошибка:     

# mtree retention-lock revert /data/col1/rl_test_comp/testfile
This operation is not allowed. Mtree is in retention-lock compliance mode.

Что произойдет при попытке изменить или удалить заблокированный файл?
Любая попытка изменить или удалить заблокированный файл приводит к соответствующей permission denied ошибка:

# echo " test2" >> /data/col1/rl_test/testfile
bash: testfile: Permission denied
# rm testfile
rm: remove write-protected regular file `testfile'? y
rm: cannot remove `testfile': Permission denied

Журналы DDFS указывают на то, что операция не выполнена из-за блокировки хранения файла:     

06/07 07:06:59.756 (tid 0x2b5a77605d50): Atime of retention-lock file /data/col1/rl_test/testfile is not expired.
06/07 07:07:42.504 (tid 0x2b5a79111390): Atime of retention-lock file /data/col1/rl_test/testfile is not expired.

Можно ли вывести список всех заблокированных файлов?
Да, это можно сделать с помощью кнопки mtree retention-lock report generate retention-details :

mtree retention-lock report generate retention-details
mtrees {<mtree-list> | all}
[format {text | tsv | csv}]
[output-file <file-name>]
               Report detailed information of
               retention-lock files.

Например, чтобы отобразить сведения обо всех заблокированных файлах в /data/col1/rl_test MTree Будут выполнены следующие действия:

sysadmin@ddxxxx# mtree retention-lock report generate retention-details mtrees /data/col1/jftest
Report generated on: Fri Jul  1 14:19:31 2016

Report for mtree: /data/col1/jftest
File Path        Mode        Size(Bytes)        Expiration Date
/data/col1/jftest/file1 governance 10521456 Sat Jul  2 22:35:48 2016
/data/col1/jftest/testdir/file2 governance 10521680 Sat Jul  2 22:35:42 2016
/data/col1/jftest/file3 governance 10521820 Sun Jul 10 22:36:09 2016
Total files: 3

Можно ли полностью отключить блокировку хранения для MTree (после того, как она включена)?
Да, для MTree, использующих режим управления, это выполняется с помощью метода mtree retention-lock disable :

# mtree retention-lock disable mtree [mtree]

For example:
sysadmin@xxxx# mtree retention-lock disable mtree /data/col1/rl_test
Retention-lock feature is disabled (previously enabled) for mtree /data/col1/rl_test.

Once disabled, MTree list indicates that retention lock was used against the MTree but has since been disabled, that is: 

sysadmin@ddxxxx# mtree list
Name                                Pre-Comp (GiB)   Status    Tenant-Unit
---------------------------------   --------------   -------   -----------
...
/data/col1/rl_test                             0.0   RW/RLGD   -
...

sysadmin@ddxxxx# mtree retention-lock revert /data/col1/rl_test/testfile
**** Retention-lock feature is disabled (previously enabled) for mtree which contains the path /data/col1/rl_test/testfile.

• Невозможно отключить блокировку хранения для MTree в режиме комплаенса:     

sysadmin@ddxxxx# mtree retention-lock disable mtree /data/col1/rl_test_comp
**** Operation is not allowed because the system is a retention-lock compliance system

• Репликация каталогов — поддерживается только для файлов, использующих режим управления. Не реплицирует минимальный и максимальный периоды хранения в систему назначения.
• Репликация MTree — может использоваться для данных в режиме управления или в режиме комплаенса и реплицирует минимальный и максимальный периоды хранения в целевую систему.
• Репликация коллекции — может использоваться как для данных в режиме управления, так и для данных в режиме комплаенса, и реплицирует минимальный и максимальный периоды хранения в целевую систему.

# replication break mtree://[destination system]/data/col1/[mtree]

# replication add source mtree://[source system]/data/col1/[mtree] destination mtree://[destination system/data/col1/[mtree]

# mtree retention-lock enable mode compliance mtree [mtree]

# replication resync mtree://[destination system/data/col1/[mtree]

# user reset
# filesys destroy
# filesys archive unit del [archive unit name]

# mtree delete [mtree]
# mtree retention-lock reset [min-retention-period period | max-retention-period period] mtree [mtree]
# mtree retention-lock disable mtree [mtree]
# mtree retention-lock revert

# cloud unit del <cloud unit name>