Symptoms
Data Domain Virtual Edition (DDVE) — это чисто программное устройство хранения данных, которое может быть развернуто локально или в облаке. Active Tier on Object Storage (ATOS) — другое название DDVE, развертываемого в облаке.
Локально DDVE поддерживает VMware, Hyper-V, KVM и VxRail.
В облаке Data Domain Virtual Edition работает в:
- Amazon Web Services (AWS) (облако и облако gov)
- Azure (облако и облако правительства)
- Облачные платформы VMware Cloud on AWS
- Google Cloud Platform (GCP)
DDVE в облаке — это не то же самое, что Cloud Tier. Cloud Tier — это другой продукт, который можно развернуть только на локальных аппаратных DD и DDVE.
Если DDVE, развернутый в облаке, заполняет свое хранилище локальных метаданных, выдается следующее оповещение:
EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.
Cause
DDVE, развернутая в облаке (ATOS), поддерживает два типа хранилищ данных:
- Блочное хранилище (используется для данных и метаданных или метаданных в объектных хранилищах с активированными DDVE, также известными как ATOS).
- Хранилище «горячих» BLOB-объектов также называется хранилищем объектов (используется только для данных)
Диски метаданных в DDVE, развернутом ATOS, заполняются: Индекс, ссылки на сегменты LP, контейнеры CMETA (метаданные) и данные диспетчера каталогов (DM)
В большинстве развертываний используется (Hot Blob или объектное хранилище), поскольку это текущая рекомендация для облачных развертываний. Все данные записываются с использованием объектного хранилища, но 10% пространства определяется как блочное хранилище для метаданных файловой системы DD. Размер локальных метаданных является предположением, основанным на размере лицензированной емкости. Во время развертывания использование метаданных оценивается в 10% для коэффициента дедупликации 10x. DDVE со 100%-ным использованием хранилища метаданных не может принимать резервные копии.
В следующих сценариях в DDVE может закончиться пространство для хранения локальных метаданных:
- Коэффициент дедупликации превышает 10x, поэтому требования к объему метаданных выше, чем было развернуто для размера метаданных (по умолчанию 10%).
- Большое количество или старые моментальные снимки могут увеличить размер метаданных
Больший объем метаданных можно заметить в DDVE ATOS, выступающих в качестве адресатов для репликации файлов (Controlled Clone Replication CCR/Managed File Replication MFR).
- Если реплицируются не все базовые файлы, целевой DDVE ATOS использует метаданные чаще.
- В этом сценарии репликация НЕ использует в полной мере преимущества оптимизации Virtual Synthetics, поэтому для хранения метаданных требуется больше места.
- Этот тип проблемы был замечен в NW CCR, где, похоже, реплицировались не все базовые файлы. Это приводит к более интенсивному использованию метаданных в целевой системе.
Resolution
Решением этой проблемы является добавление дополнительных дисков в качестве локального хранилища метаданных.
Только AWS и Azure разрешают увеличивать размер диска метаданных, если уже выделено максимально допустимое количество дисков. Емкость метаданных для существующих дисков метаданных может быть увеличена с шагом 1 ТиБ. Это не относится к первому диску метаданных. Дополнительные сведения см. в разделе «Расширение хранилища метаданных» документа руководства.
ВАЖНАЯ ИНФОРМАЦИЯ ПРИ ДОБАВЛЕНИИ ДИСКОВ ДЛЯ МЕТАДАННЫХ:
- Использование дисков метаданных разного размера приводит к дисбалансу индекса.
- Каждый диск метаданных, добавленный на активный уровень, должен иметь собственную группу шпинделей, программное обеспечение делает это автоматически. Максимальное известное количество групп шпинделей — 16.
- При превышении максимального количества групп шпинделей (16) для дисков метаданных будет использоваться одна и та же группа шпинделей. Операции ввода-вывода для дисков в одной и той же группе шпинделей выполняются последовательно.
- Рекомендуемые размеры см. в руководстве, большинство рекомендует приращение 1 ТиБ, в зависимости от поставщика облака возможны и более высокие размеры.
- Разверните диски метаданных только для AWS и Azure. Расширение дисков метаданных в любом поставщике делает DDVE непригодным для использования из-за повреждения или неиспользуемого расширенного пространства.
-
Проверьте использование метаданных. Если оно достигло 100%, необходимо назначить дополнительные диски.
- Приведен пример ниже. Некоторые выходные данные могут отличаться в зависимости от поставщика облачных услуг. См. руководство по установке и администрированию.
- Отображение поля Использование метаданных.
# filesys show space tier active local-metadata
--------------------------
Active Tier: local-metadata usage
Size GiB Used GiB Avail GiB Use%
-------- -------- --------- ------
1293.0 1291.5 1.5 100.0% -> We can see Metadata space is full.
-------- -------- --------- ------
-
Процесс добавления дополнительных дисков метаданных зависит от поставщика облачных услуг. См. каждое руководство по поставщику облака внизу.
- Отображение используемых дисков.
# disk show hardware
------------------
Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type
(pci/idx)
---- --------- -------------------- -------- ---------- --------- -----
dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk
dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk
dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
---- --------- -------------------- -------- ---------- --------- -----
4 drives present.
- Перейдите в консоль AWS/GCP/AZURE и добавьте хранилище в DDVE. В этом случае добавляется диск емкостью 1 ТиБ. Он отображается как dev5, и помните, что нельзя расширять и трогать другие существующие диски.
РУКОВОДСТВА по DDVE в облаке (ниже размещено только для DDVE V4)
Руководство по установке и администрированию DDVEV4 в Microsoft Azure.
https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US DDVEV4 на Google Cloud Platform (GC)
https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
DDVE4 в Amazon Web Services (AWS), установка и руководство администратора
https://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
ВНИМАНИЕ! На момент прочтения этой статьи могут существовать новые и обновленные руководства по установке или администрированию.
- На этом этапе, предполагая, что был добавлен новый диск на 1 ТиБ, он отображается в выходных данных как disk dev5.
# disk show hardware
------------------
Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type
(pci/idx)
---- --------- -------------------- -------- ---------- --------- -----
dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk
dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk
dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev5 -/e Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Newly added disk for metadata, unused.
---- --------- -------------------- -------- ---------- --------- -----
- Добавьте новый диск на активный уровень. dev5 для этого примера:
# storage add tier active dev5
- Расширение файловой системы.
# filesys expand
-
Убедитесь, что файловая система, которая была доступна только для чтения из-за нехватки места для метаданных, теперь может быть записана.
- Убедитесь, что резервное копирование теперь работает нормально
- Убедитесь, что входящая репликация возобновлена и что трафик виден.
Содержание этой статьи переведено на другие языки:
- https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf
- Расширение файловой системы можно выполнить в режиме онлайн.
- Использование метаданных прямо пропорционально коэффициенту дедупликации. Рабочие нагрузки с высокими коэффициентами дедупликации создают индексы большего размера, поэтому требования к метаданным выше.
- Старые и большие моментальные снимки содержат данные, но увеличивает коэффициент дедупликации и приводит к более раннему исчерпанию метаданных в системе.
- Существуют только рекомендации по требованиям к метаданным для развертывания, они составляют 10% емкости на дисках метаданных и предполагают 10-кратный коэффициент дедупликации. Для более высоких коэффициентов дедупликации требуется больше дисков метаданных.
- В службе поддержки DD нет требований к локальному хранилищу метаданных при коэффициентах дедупликации выше 10x. Диски метаданных рекомендуется добавлять с шагом 1 ТиБ, пока не будет достигнут баланс между использованием файловой системы и использованием метаданных.
- Не существует известного метода прогнозирования будущего использования метаданных на основе потенциальных факторов дедупликации.
- Дисбаланс индексов также может возникать на дисках одинакового размера. Наиболее распространенной причиной является то, что новые диски были увеличены после того, как метаданные были почти заполнены. Старые диски по-прежнему содержат большую часть структур метаданных, но требуется больше операций ввода-вывода. По мере истечения срока хранения старых данных метаданные должны балансироваться между дисками.
Affected Products
Data Domain, Data Domain Virtual Edition