Symptoms
Data Domain Virtual Edition (DDVE) to urządzenie pamięci masowej przeznaczone wyłącznie do oprogramowania, które może być wdrażane lokalnie lub w chmurze. Active Tier on Object Storage (ATOS) to inna nazwa wdrożonego w chmurze rozwiązania DDVE.
Lokalnie rozwiązanie DDVE obsługuje rozwiązania VMware, Hyper-V, KVM i VxRail.
W chmurze Data Domain Virtual Edition działa w:
- Amazon Web Services (AWS) (chmura i chmura rządowa)
- Azure (chmura i chmura rządowa)
- VMware Cloud na platformach chmurowych AWS
- Platforma chmury Google (GCP)
DDVE on Cloud to nie to samo co warstwa chmury. Warstwa chmury to inny produkt, który można wdrożyć tylko na lokalnych sprzętowych DD i DDVE.
Jeśli DDVE wdrożone w chmurze zapełni swój magazyn lokalnych metadanych, zostanie wyświetlony następujący alert:
EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.
Cause
Rozwiązanie DDVE wdrożone w chmurze (ATOS) obsługuje dwa rodzaje przechowywania danych:
- Blokowa pamięć masowa (używana dla danych i metadanych lub metadanych w DDVE z włączoną obiektową pamięcią masową, znana również jako ATOS).
- Usługa Hot Blob Storage jest również nazywana magazynem obiektów (używana tylko dla danych)
Dyski metadanych w DDVE wdrożonym przez ATOS są wypełnione następującymi elementami: Indeks, odwołania do segmentów LP, kontenery CMETA (metadane) i dane Menedżera katalogów (DM)
Większość wdrożeń używa (Hot Blob lub Object Storage), ponieważ jest to bieżące zalecenie dotyczące wdrożeń w chmurze. Wszystkie dane są zapisywane przy użyciu obiektowej pamięci masowej, ale 10% miejsca jest definiowane jako blokowa pamięć masowa dla metadanych systemu plików DD. Rozmiar lokalnych metadanych jest spekulacją opartą na wielkości pojemności licencjonowanej. W momencie wdrażania szacowane jest 10% użycie metadanych przy 10-krotnym współczynniku deduplikacji. DDVE ze 100% wykorzystaniem pamięci masowej metadanych nie może pozyskiwać kopii zapasowych.
Ze względu na następujące scenariusze w DDVE może zabraknąć miejsca do magazynowania lokalnych metadanych:
- Deduplikacja jest wyższa niż 10x, w związku z czym wymagania dotyczące metadanych są wyższe niż to, co zostało wdrożone w rozmiarze metadanych (domyślnie 10%).
- Duża liczba lub stare migawki mogą zwiększyć rozmiar metadanych
Większą ilość metadanych można zauważyć w systemach ATOS DDVE działających jako miejsca docelowe dla replikacji plików (Controlled Clone Replication CCR /Managed File Replication MFR):
- Jeśli nie wszystkie pliki podstawowe są replikowane, docelowe ATOS DDVE ma większe wykorzystanie w metadanych.
- W tym scenariuszu replikacja NIE wykorzystuje w pełni optymalizacji wirtualnych syntetycznych, ponieważ jako taka wymaga więcej miejsca do przechowywania metadanych.
- Tego typu problem został zauważony w NW CCR, gdzie nie wszystkie pliki bazowe były replikowane. Powoduje to większe użycie metadanych przez miejsce docelowe.
Resolution
Rozwiązaniem tego problemu byłoby dodanie kolejnych dysków jako lokalnego magazynu metadanych.
Tylko platformy AWS i Azure zezwalają na rozszerzenie rozmiaru dysku metadanych, gdy maksymalna dozwolona liczba dysków została już przydzielona. Pojemność metadanych dla istniejących dysków metadanych można zwiększyć o 1 TiB. Nie dotyczy to pierwszego dysku z metadanymi. Szczegółowe informacje można znaleźć w sekcji "Rozszerzanie pamięci masowej metadanych" w przewodniku.
WAŻNE INFORMACJE PRZY DODAWANIU DYSKÓW DLA METADANYCH:
- Użycie dysków metadanych o różnych rozmiarach powoduje nierównowagę indeksu.
- Każdy dysk metadanych dodany do warstwy aktywnej powinien mieć własną grupę wrzecion, oprogramowanie robi to automatycznie. Maksymalna znana liczba grup wrzecion wynosi 16.
- W przypadku przekroczenia maksymalnej liczby grup wrzecion (16) dyski metadanych będą miały tę samą grupę wrzecion. Operacje we/wy względem dysków w tych samych grupach wrzecion są sekwencyjne.
- Zalecane rozmiary można znaleźć w instrukcji. Większość z nich zaleca przyrost o 1 TiB, wyższe rozmiary są możliwe w zależności od dostawcy chmury.
- Rozwiń tylko dyski metadanych dla platform AWS i Azure. Rozszerzenie dysków metadanych u dowolnego dostawcy sprawia, że DDVE staje się bezużyteczne z powodu uszkodzenia lub rozszerzenie przestrzeni jest nieużywane.
-
Sprawdź użycie metadanych, jeśli osiągnęło 100%, potrzeba przypisanych większej liczby dysków.
- Podano poniższy przykład, niektóre dane wyjściowe mogą się różnić w zależności od dostawcy rozwiązań chmurowych, patrz Instrukcja instalacji i administratora:
- Wyświetla wykorzystanie metadanych.
# filesys show space tier active local-metadata
--------------------------
Active Tier: local-metadata usage
Size GiB Used GiB Avail GiB Use%
-------- -------- --------- ------
1293.0 1291.5 1.5 100.0% -> We can see Metadata space is full.
-------- -------- --------- ------
-
Proces dodawania większej liczby dysków metadanych różni się w zależności od dostawcy rozwiązań chmurowych. Więcej informacji na ten temat można znaleźć w podręcznikach każdego dostawcy usług w chmurze na dole.
# disk show hardware
------------------
Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type
(pci/idx)
---- --------- -------------------- -------- ---------- --------- -----
dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk
dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk
dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
---- --------- -------------------- -------- ---------- --------- -----
4 drives present.
- Przejdź do konsoli AWS/GCP/AZURE i dodaj pamięć masową do DDVE. W takim przypadku dodawany jest dysk o pojemności 1 TiB. Jest on widoczny jako dev5 i pamiętaj, aby nie rozszerzać ani nie dotykać żadnego z innych istniejących dysków.
PODRĘCZNIKI dotyczące DDVE on Cloud (Tylko posta poniżej dla DDVE V4)
DDVEV4 w podręczniku instalacji i administratora Microsoft Azure.
https://support.emc.com/docu91981_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Azure-Installation-and-Administration-Guide.pdf?language=en_US DDVEV4 na Google Cloud Platform (GC)
https://support.emc.com/docu91982_Data-Domain-Virtual-Edition-4.0-with-DD-OS-6.2.0.10-in-Google-Cloud-Platform-(GCP)-Installation-and-Administration-Guide.pdf?language=en_US
DDVE4 on Amazon Web Services (AWS), Instrukcja
instalacji i administratorahttps://support.emc.com/docu91980_Data_Domain_Virtual_Edition_4.0_with_DD_OS_6.2.0.10_in_Amazon_Web_Services_(AWS)_Installation_and_Administration_Guide.pdf?language=en_US
UWAGA: W chwili pisania tego artykułu mogą istnieć nowe i zaktualizowane instrukcje instalacji lub administratora.
- Na tym etapie zakładając, że dodano nowy dysk o pojemności 1 TiB, jest to widoczne w danych wyjściowych jako disk dev5.
# disk show hardware
------------------
Disk Slot Manufacturer/Model Firmware Serial No. Capacity Type
(pci/idx)
---- --------- -------------------- -------- ---------- --------- -----
dev1 -/a Virtual BLOCK Device n/a (unknown) 250.0 GiB BLOCK -> DDOS Disk
dev2 -/b Virtual BLOCK Device n/a (unknown) 10.0 GiB BLOCK -> NVRAM disk
dev3 -/c Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev4 -/d Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Currently used for Metadata
dev5 -/e Virtual BLOCK Device n/a (unknown) 1.0 TiB BLOCK -> Newly added disk for metadata, unused.
---- --------- -------------------- -------- ---------- --------- -----
- Dodaj nowy dysk do warstwy aktywnej. dev5 dla tego przykładu:
# storage add tier active dev5
- Rozszerzenie systemu plików.
# filesys expand
-
Potwierdź, że można teraz zapisać FS, który był tylko do odczytu z powodu braku miejsca na metadane.
- Sprawdź, czy kopie zapasowe działają teraz prawidłowo
- Sprawdź, czy replikacja przychodząca została wznowiona i czy może być widoczny ruch.
Informacje te przetłumaczono na inne języki:
- https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf
- https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf
- Rozszerzenie systemu plików można wykonać online.
- Użycie metadanych jest wprost proporcjonalne do współczynnika deduplikacji. Obciążenia robocze o wysokim współczynniku deduplikacji tworzą większe indeksy, więc potrzeby w zakresie metadanych są większe.
- Stare i duże migawki przechowują dane, a także zwiększają współczynnik deduplikacji i powodują, że w systemie szybciej zabraknie metadanych.
- Istnieją tylko wytyczne dotyczące wymagań metadanych dotyczące wdrażania, są to 10% pojemności na dyskach metadanych i zakładają 10-krotne współczynniki deduplikacji. Wyższe współczynniki deduplikacji wymagają większej liczby dysków metadanych.
- Obsługa DD nie ma wytycznych dotyczących wymagań dotyczących przechowywania lokalnych metadanych dla współczynników deduplikacji wyższych niż 10x. Dyski metadanych zaleca się dodawać w przyrostach co 1 TiB, aż do osiągnięcia równowagi między użyciem systemu plików a użyciem metadanych.
- Nie jest znana metoda przewidywania przyszłego wykorzystania metadanych na podstawie potencjalnych czynników deduplikacji.
- Nierównowaga indeksu może również wystąpić na dyskach o tym samym rozmiarze. Najczęstszym powodem jest to, że nowe dyski zostały zwiększone po prawie zapełnieniu metadanych. Starsze dyski nadal przechowują większość struktur metadanych, z żądaniem większej liczby operacji we/wy. Ponieważ starsze dane wygasły, metadane powinny być równoważone między dyskami.
Affected Products
Data Domain, Data Domain Virtual Edition