Data Domain: W Data Domain Virtual Edition (DDVE), które są wdrożone w chmurze (ATOS), może zabraknąć lokalnej pamięci masowej metadanych

Data Domain Virtual Edition (DDVE) to urządzenie pamięci masowej przeznaczone wyłącznie do oprogramowania, które może być wdrażane lokalnie lub w chmurze. DDVE wdrożone w chmurze są również określane jako ATOS (Active Tier on Object Storage).  
Lokalnie rozwiązanie DDVE obsługuje rozwiązania VMware, Hyper-V, KVM i VxRail. W chmurze DD VE działa również w Amazon Web Services (AWS) (chmura i chmura gov), Azure (chmura i chmura gov), VMware Cloud on AWS platformy chmurowe i Google Cloud Platform (GCP).
Należy pamiętać, że rozwiązanie DDVE on Cloud to nie to samo, co warstwa chmury. Warstwa chmury to inny produkt, który można wdrożyć tylko na lokalnych sprzętowych DD i DDVE.
Jeśli DDVE wdrożone w chmurze zapełni swój magazyn lokalnych metadanych, zostanie wyświetlony następujący alert:

EVT-SPACE-00004: Space usage in metadata storage has exceeded 100% threshold.

Rozwiązanie DDVE wdrożone w chmurze (ATOS), obsługuje dwa rodzaje przechowywania danych:
- Blokowa pamięć masowa (używana do danych i metadanych lub po prostu metadanych w obiektowej pamięci masowej z włączoną funkcją DDVEs aka ATOS).
- Usługa Hot Blob Storage, znana również jako magazyn obiektów (używana tylko dla danych)
Dyski metadanych w DDVE wdrożonym przez ATOS zostaną wypełnione następującymi elementami: Indeks, odwołania do segmentów LP, kontenery CMETA (metadane) i dane DM (Directory Manager).
Większość wdrożeń używa (Hot Blob lub Object Storage), ponieważ jest to bieżące zalecenie dotyczące wdrożeń w chmurze. Oznacza to, że zapisujemy wszystkie dane za pomocą Object Storage, ale musimy zdefiniować 10% miejsca jako Block Storage dla metadanych systemu plików DD. Rozmiar lokalnych metadanych jest spekulacją opartą na rozmiarze pojemności licencjonowanej, a w czasie wdrażania zakłada się użycie metadanych na poziomie 10%, co daje 10-krotną deduplikację.  DDVE ze 100% wykorzystaniem pamięci masowej metadanych nie może pozyskiwać kopii zapasowych.
Ze względu na następujące scenariusze w DDVE może zabraknąć miejsca do magazynowania lokalnych metadanych:
- Deduplikacja jest wyższa niż 10x, w związku z czym wymagania dotyczące metadanych są wyższe niż to, co zostało wdrożone w rozmiarze metadanych (domyślnie 10%).  
- Duża liczba starych migawek może wzrosnąć Rozmiar metadanych.
Większą ilość metadanych można zauważyć w ATOS DDVE działających jako miejsca docelowe dla pliku Replikacja (Kontrolowana replikacja klonów CCR / MFR replikacji plików zarządzanych): 
- Jeśli nie wszystkie pliki bazowe są replikowane, docelowe ATOS DDVE ma większe wykorzystanie w metadanych.
- W tym scenariuszu replikacja NIE wykorzystuje w pełni optymalizacji wirtualnych syntetyków, jako taka potrzebuje więcej miejsca do przechowywania metadanych. 
- Ten typ problemu został zauważony w NW CCR, gdzie wydaje się, że nie wszystkie pliki bazowe były replikowane, co powodowało, że miejsce docelowe miało większe użycie metadanych. 

Rozwiązaniem tego problemu byłoby dodanie kolejnych dysków jako lokalnego magazynu metadanych. W przypadku platformy Azure i tylko wtedy, gdy maszyna wirtualna platformy Azure ma już przydzieloną maksymalną dozwoloną liczbę dysków, istnieje możliwość rozszerzenia pojemności metadanych poprzez zwiększenie istniejących dysków metadanych (z wyjątkiem pierwszego) w przyrostach co 1 TiB. Patrz "Szczegółowe informacje można znaleźć w sekcji "PowerProtect DD Virtual Edition 7.x w podręczniku instalacji i administracji Azure Cloud".
WAŻNE INFORMACJE PRZY DODAWANIU DYSKÓW DLA METADANYCH: 
. Używanie dysków metadanych o różnych rozmiarach może spowodować nierównowagę indeksu; w związku z tym prowadzenie operacji we/wy DDVE powiązanych na największych dyskach, ponieważ przechowują one większość metadanych.
. Każdy dysk metadanych dodany do warstwy aktywnej powinien mieć własną grupę wrzecion, co powinno być wykonywane automatycznie przez oprogramowanie. Maksymalna znana liczba grup wrzecion wynosi 16. 
. W przypadku przekroczenia maksymalnej liczby grup wrzecion (16) ostatecznie pojawią się dyski metadanych współdzielące tę samą grupę wrzecion. Operacje we/wy względem dysków w tych samych grupach wrzecion są sekwencyjne. 
. Zalecane rozmiary można znaleźć w instrukcji. Większość z nich zaleca przyrost o 1 TiB, wyższe rozmiary są możliwe w zależności od dostawcy chmury.
. Istniejących dysków NIE MOŻNA rozszerzać, można tylko dodawać dyski, nie należy rozszerzać żadnych istniejących dysków, ponieważ może to doprowadzić do uszkodzenia DDVE i nieprzydatności do użycia lub niewykorzystania rozszerzonego miejsca.
1. Sprawdź użycie metadanych. Jeśli osiągnęło 100%, potrzeba przypisanych więcej dysków.
- Podano poniższy przykład, niektóre dane wyjściowe mogą się różnić w zależności od dostawcy rozwiązań chmurowych, patrz Instrukcja instalacji i administratora:
- Wyświetlanie użycia metadanych

# filesys show space tier active local-metadata
--------------------------
Active Tier: local-metadata usage
Size GiB   Used GiB   Avail GiB     Use%
--------   --------   ---------   ------
  1293.0     1291.5         1.5   100.0%             -> We can see Metadata space is full.
--------   --------   ---------   ------

2. Proces dodawania większej liczby dysków metadanych różni się w zależności od dostawcy usług w chmurze. Zapoznaj się z instrukcjami dotyczącymi poszczególnych dostawców rozwiązań chmurowych na dole.
- Wyświetlaj, które dyski są używane

# disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
----   ---------   --------------------   --------   ----------   ---------   -----
4 drives present.

2.1 — Przejdź do konsoli AWS/GCP/AZURE i dodaj pamięć masową do DDVE, w tym przypadku dodaliśmy dysk o pojemności 1 TiB, który powinien być wtedy widoczny jako dev5, pamiętaj, aby nie rozszerzać ani nie dotykać żadnego z innych istniejących dysków. 
UWAGA: W chwili pisania tego artykułu mogą istnieć nowe i zaktualizowane podręczniki instalacji/administratora. 
2.2 - Na tym etapie, zakładając, że dodano nowy dysk 1 TiB, będzie on widoczny na wyjściu jako disk dev5.

# disk show hardware
------------------
Disk   Slot        Manufacturer/Model     Firmware   Serial No.   Capacity    Type
       (pci/idx)                                                                  
----   ---------   --------------------   --------   ----------   ---------   -----
dev1   -/a         Virtual BLOCK Device   n/a        (unknown)    250.0 GiB   BLOCK  -> DDOS Disk
dev2   -/b         Virtual BLOCK Device   n/a        (unknown)    10.0 GiB    BLOCK  -> NVRAM disk
dev3   -/c         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev4   -/d         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Currently used for Metadata
dev5   -/e         Virtual BLOCK Device   n/a        (unknown)    1.0 TiB     BLOCK  -> Newly added disk for metadata, unused.
----   ---------   --------------------   --------   ----------   ---------   -----

2.3 — Dodaj nowy dysk do warstwy aktywnej. W tym przypadku będzie dev5

# storage add tier active dev5

  UWAGA: Jeśli podczas dodawania większej liczby dysków do lokalnych metadanych DDVE ATOS z interfejsu wiersza poleceń zostanie wyświetlony komunikat "Rozmiar lokalnej pamięci masowej przekracza maksymalną wymaganą pojemność metadanych dla tej konfiguracji", taki jak poniżej:

** Local storage size exceeds the maximum required metadata capacity for this configuration.
Do you want to continue? (yes|no) [no]:

2.4 - Rozszerza system plików

# filesys expand

3. - Potwierdź, że FS, który był tylko do odczytu z powodu braku miejsca na metadane, może być teraz zapisany
Można to osiągnąć na wiele sposobów, od upewnienia się, że kopie zapasowe działają teraz prawidłowo, po sprawdzenie, czy replikacja przychodząca została wznowiona i czy może być widoczny ruch.

Informacje te przetłumaczono na inne języki: 

https://downloads.dell.com/TranslatedPDF/PT-BR_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/ZH-CN_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/ES_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/DE_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/FR_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/IT_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/JA_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/NL_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/KO_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/RU_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/PT_KB537488.pdf

https://downloads.dell.com/TranslatedPDF/SV_KB537488.pdf

- Rozszerzenie systemu plików można wykonać online.
- Użycie metadanych jest wprost proporcjonalne do współczynnika deduplikacji. Jeśli obciążenie kopiami zapasowymi zwiększa się bardzo dobrze, im większy jest indeks DDVE, tym większe zapotrzebowanie na metadane.
- Stare i duże migawki będą nie tylko przechowywać dane, ale także zwiększać współczynnik deduplikacji, co doprowadzi do szybszego wyczerpania metadanych w systemie.
- Istnieją tylko wytyczne dotyczące wymagań metadanych dotyczące wdrażania, będą to 10% pojemności na dyskach metadanych i zakładają 10-krotną deduplikację. Wyższe współczynniki deduplikacji będą ostatecznie wymagać większej liczby dysków metadanych.
- Obsługa DD nie ma wytycznych dotyczących wymagań dotyczących przechowywania lokalnych metadanych dla deduplikacji wyższych niż 10x. Dyski metadanych zaleca się dodawać w przyrostach co 1 TiB, aż do osiągnięcia równowagi między użyciem systemu plików a użyciem metadanych.
- Obecnie nie jest znana metoda przewidywania przyszłego wykorzystania metadanych na podstawie potencjalnych czynników deduplikacji. 
- Może również wystąpić nierównowaga indeksów na dyskach tego samego rozmiaru, najczęstszym powodem byłoby zwiększenie ilości nowych dysków po prawie zapełnieniu metadanych, w związku z czym starsze dyski nadal przechowują większość struktur metadanych, z większą liczbą żądanych operacji we/wy. Ponieważ starsze dane wygasły, metadane powinny być równoważone między dyskami.