Data Domain. В Data Domain Virtual Edition (DDVE), развертываемых в облаке (ATOS), может закончиться локальное хранилище метаданных

Data Domain Virtual Edition (DDVE) — это чисто программное устройство хранения данных, которое может быть развернуто локально или в облаке. DDVE, развернутые в облаке, также называются ATOS (Active Tier on Object Storage).  
Локально DDVE поддерживает VMware, Hyper-V, KVM и VxRail. В облаке DD VE также работает в Amazon Web Services (AWS) (облако и облако gov), Azure (облако и облако gov), облачных платформах VMware Cloud on AWS и Google Cloud Platform (GCP).
Обратите внимание, что DDVE в облаке — это не то же самое, что Cloud Tier. Cloud Tier — это другой продукт, который можно развернуть только на локальном оборудовании DD и DDVE.
Если DDVE, развернутый в облаке, заполняет свое хранилище локальных метаданных, выдается следующее оповещение:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

DDVE, развернутая в облаке (ATOS), поддерживает два типа хранилища данных:
- Блочное хранилище (используется для данных и метаданных или просто метаданных в объектном хранилище с поддержкой DDVEs aka ATOS).
- Хранилище BLOB-объектов, также известное как объектное хранилище (используется только для данных)
Поля Metadata Disks в DDVE, развернутом ATOS, будут заполнены: Индекс, ссылки на сегменты LP, контейнеры CMETA (метаданные) и данные DM (диспетчер каталогов).
В большинстве развертываний используется (Hot Blob или объектное хранилище), поскольку это текущая рекомендация для облачных развертываний. Это означает, что все данные записываются с помощью объектного хранилища, но для метаданных файловой системы DD необходимо определить 10% пространства как блочное хранилище. Размер локальных метаданных является предположением, основанным на размере лицензированной емкости, и во время развертывания предполагается, что 10% использования метаданных используется для 10-кратной дедупликации.  DDVE со 100%-ным использованием хранилища метаданных не может принимать резервные копии.
В следующих сценариях в DDVE может закончиться пространство для хранения локальных метаданных:
- Дедупликация больше 10x, поэтому требования к метаданным выше, чем было развернуто для размера метаданных (по умолчанию 10%).  
- Большое количество или старых снимков, могут увеличиваться Размер метаданных.
Больший объем метаданных можно заметить в DDVE ATOS, выступающих в качестве адресатов для файлов Репликация (CCR для контролируемой репликации клонов / Managed File Replication MFR). 
- Если реплицируются не все базовые файлы, то целевой ATOS DDVE использует метаданные чаще.
- В этом сценарии репликация НЕ использует в полной мере преимущества оптимизации Virtual Synthetics, поэтому для хранения метаданных требуется больше места. 
- Этот тип проблемы был замечен в NW CCR, где не все базовые файлы реплицировались, что приводило к более высокому использованию метаданных в целевом ресурсе. 

Решением этой проблемы было бы добавление дополнительных дисков в качестве локального хранилища метаданных. В случае Azure и только в том случае, если на виртуальной машине Azure уже выделено максимально допустимое количество дисков, есть возможность увеличить емкость метаданных, сделав существующие диски метаданных (кроме первого) больше с шагом 1 ТиБ. Смотрите «Для получения дополнительных сведений разверните раздел «Хранилище метаданных» документа «PowerProtect DD Virtual Edition 7.x в руководстве по установке и администрированию облака Azure».
ВАЖНАЯ ИНФОРМАЦИЯ ПРИ ДОБАВЛЕНИИ ДИСКОВ ДЛЯ МЕТАДАННЫХ: 
. Использование дисков метаданных разного размера может привести к дисбалансу индекса; таким образом, лидирует привязка ввода-вывода DDVE к самым большим дискам, так как они содержат большую часть метаданных.
. Каждый диск метаданных, добавляемый на активный уровень, должен иметь собственную группу шпинделей, программное обеспечение должно делать это автоматически. Максимальное известное количество групп шпинделей - 16. 
. Если превысить максимальное количество групп шпинделей (16), то в конечном итоге диски метаданных будут использовать одну и ту же группу шпинделей. Операции ввода-вывода для дисков в одних и тех же группах шпинделей выполняются последовательно. 
. Рекомендуемые размеры см. в руководстве, в большинстве случаев рекомендуется увеличение в 1 ТиБ, в зависимости от поставщика облака возможны и более высокие размеры.
. Существующие диски НЕВОЗМОЖНО расширить, можно только добавить диски. Не расширяйте существующие диски, так как это может привести к тому, что DDVE станет непригодным для использования из-за повреждения или расширенное пространство не будет использовано.
1. Проверьте использование метаданных. Если оно достигло 100%, необходимо назначить дополнительные диски.
- Пример приведен ниже, некоторые выходные данные могут отличаться в зависимости от поставщика облачных услуг, см. Руководство по установке и администрированию:
- Отображение Использование метаданных

# filesys show space tier active local-metadata
--------------------------
Active Tier: local-metadata usage
Size GiB   Used GiB   Avail GiB     Use%
--------   --------   ---------   ------
  1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
--------   --------   ---------   ------

2. Процесс добавления дополнительных дисков метаданных зависит от поставщика облачных услуг. См. руководство по каждому поставщику облака внизу.
- Отображение используемых дисков

# disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
----   ---------   --------------------   --------   ----------   ---------   -----
4 drives present.

2.1. Перейдите в консоль AWS/GCP/AZURE и добавьте хранилище в DDVE, в этом случае мы добавили диск на 1 ТиБ, и тогда он должен отображаться как dev5, помните, что нельзя расширять и трогать другие существующие диски. 
ВНИМАНИЕ! На момент прочтения этой статьи могут существовать новые и обновленные руководства по установке и администрированию. 
2.2 - На этом этапе, предполагая, что был добавлен новый диск на 1 ТиБ, будет отображаться в выводе как disk dev5.

# disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
----   ---------   --------------------   --------   ----------   ---------   -----

2.3. Добавьте новый диск на активный уровень. В данном случае это будет dev5

# storage add tier active dev5

  ВНИМАНИЕ! Если при добавлении дополнительных дисков в локальные метаданные DDVE ATOS из интерфейса командной строки появляется сообщение «Размер локальной системы хранения превышает максимальную требуемую емкость метаданных для этой конфигурации», например:

** Local storage size exceeds the maximum required metadata capacity for this configuration.
Do you want to continue? (yes|no) [no]:

2.4 - Расширение файловой системы

# filesys expand

3. - Подтвердите, что файловая система, которая была доступна только для чтения из-за нехватки места для метаданных, теперь может быть записана в
Это может быть достигнуто несколькими способами: от проверки того, что резервные копии теперь работают нормально, до проверки возобновления входящей репликации и наличия видимого трафика.

Содержание этой статьи переведено на другие языки: 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

- Расширение файловой системы может быть выполнено в режиме онлайн.
- Использование метаданных прямо пропорционально коэффициенту дедупликации. Если рабочая нагрузка резервного копирования очень хорошо обработана, чем больше индекс DDVE, тем выше потребность в метаданных.
- Старые и большие снимки будут не только содержать данные, но и увеличивать коэффициент дедупликации, что приведет к более раннему исчерпанию метаданных в системе.
- Существуют только рекомендации по требованиям к метаданным для развертывания, они будут составлять 10% емкости на дисках метаданных и предполагают 10-кратную дедукцию. Чем выше коэффициент дедупликации, тем больше дисков метаданных в конечном итоге потребуется.
- В службе поддержки DD нет требований к хранению локальных метаданных для более высоких дедукций, чем 10x. Диски метаданных рекомендуется добавлять с шагом 1 ТиБ, пока не будет достигнут баланс между использованием файловой системы и использованием метаданных.
- В настоящее время не существует известного метода прогнозирования будущего использования метаданных на основе потенциальных факторов дедупликации. 
- Также может возникнуть дисбаланс индекса на дисках При одинаковом размере наиболее распространенной причиной было бы увеличение новых дисков после того, как метаданные были почти заполнены, таким образом, старые диски по-прежнему содержат большую часть структур метаданных, при этом запрашивается больше операций ввода-вывода. По мере истечения срока хранения старых данных метаданные должны балансироваться между дисками.