Podwójne błędy i przebicia w macierzach RAID

Spis treści

1. Błędy danych i błędy podwójne
2. Przebicia: czym są i jak są spowodowane?
3. Zapobieganie problemom przed ich wystąpieniem i rozwiązywanie przebić po ich wystąpieniu
   
    

Rozdział 1: Błędy danych i błędy podwójne

Macierze RAID nie są odporne na błędy danych.  Oprogramowanie wewnętrzne kontrolera RAID i dysków twardych zawiera funkcje wykrywania i naprawy wielu typów błędów danych, zanim zostaną one zapisane na macierzy/napędzie.  Korzystanie z przestarzałego oprogramowania wewnętrznego może spowodować zapisywanie nieprawidłowych danych na macierzy/dysku, ponieważ brakuje mu funkcji obsługi błędów / korekcji błędów dostępnych w najnowszych wersjach oprogramowania wewnętrznego.


Błędy danych mogą być również spowodowane przez fizyczne uszkodzone bloki.  Może to na przykład wystąpić w przypadku, gdy głowica odczytu/zapisu uderzy w obracające się talerze (sytuacja ta jest określana jako „zderzenie czołowe”).  Bloki mogą także ulec uszkodzeniu na skutek utraty przez talerze zdolności do magnetycznego zapisywania bitów w określonej lokalizacji.  Uszkodzone bloki spowodowane degradacją talerzy można często z powodzeniem odczytać.  Taki uszkodzony blok może zostać rozpoznany tylko sporadycznie lub przy użyciu rozszerzonej diagnostyki dysków.  


Uszkodzenie bloku znane jest też pod nazwą nieprawidłowego adresu bloku logicznego (LBA) i może być spowodowane przez logiczne błędy danych.  Dzieje się tak w przypadku nieprawidłowego zapisania danych na dysku, które zostało zgłoszone jako prawidłowe.  Dane zapisane prawidłowo na dysku mogą również zostać przypadkowo zmienione.  Przykładem może być „odwrócenie bitu”, które może wystąpić, gdy głowica odczytu/zapisu przechodzi nad lub zapisuje dane w pobliskiej pozycji i powoduje zmianę zapisu danych w postaci zer i jedynek na inną wartość.  Taki stan powoduje utracenie „spójności” danych.  Wartość danych w określonym bloku jest inna niż oryginalne dane i nie jest już zgodna z sumą kontrolną dla tych danych.  Fizyczny adres LBA jest w dobrym stanie i można na nim pomyślnie dokonywać zapisów, ale obecnie zawiera nieprawidłowe dane i może być interpretowany jako uszkodzony blok.


Uszkodzone adresy LBA są powszechnie zgłaszane jako Kod wykrywania 3/11/0. Kod wartości odczytanej 3 jest średnim błędem.  Kod dodatkowej wartości odczytanej oraz kwalifikator dodatkowej wartości odczytanej 11/00 jest definiowany jako Nieodwracalny błąd odczytu.  Nie są podejmowane próby naprawienia bloku i nie jest określane, czy blok uległ uszkodzeniu w wyniku usterki fizycznej talerza, czy też błędu danych spowodowanego innymi przyczynami.  Występowanie kodu wykrywania 3/11/00 nie oznacza automatycznie, że dysk fizyczny uległ awarii lub że należy go wymienić.


Sprzętowe kontrolery RAID firmy Dell zapewniają funkcje, takie jak Patrol Read i sprawdzanie spójności, które mogą naprawić wielu błędów danych.  Odczyty sprawdzające działają domyślnie jako zautomatyzowane zadanie uruchomione w tle, które sprawdza wszystkie poszczególne bloki na dysku twardym w celu zapewnienia prawidłowego odczytu danych.  Odczyty sprawdzające podejmują próbę naprawy uszkodzonych bloków lub zmieniają mapowanie nienaprawialnych bloków na bloki zarezerwowane.  Sprawdzanie spójności jest to funkcja włączana ręcznie (można również zaplanować jej uruchamianie), która porównuje wszystkie dyski w macierzy względem siebie w celu zapewnienia zgodności danych oraz informacji nadmiarowych.  Na przykład, trzy dyski w macierzy RAID 5 są porównywane w celu zapewnienia poprawności danych oraz informacji o parzystości.  W przypadku wykrycia pojedynczego błędu, pozostałe dane i/lub informacje o parzystości są używane do ponownego zapisania i skorygowania błędnej wartości.  Podobnie dzieje się w przypadku macierzy RAID 1 tj., dane na jednym dysku zostaną porównane z danymi na innym dysku, aby zapewnić prawidłowy mirroring danych.


Każdy pojedynczy błąd w macierzy RAID, jeśli nie zostanie naprawiony, może spowodować poważniejsze błędy w macierzy, zwłaszcza w przypadku wystąpienia drugiego błędu.  Jeden lub więcej pojedynczych błędów nie spowodują utraty danych tak długo, jak macierz pozostaje w optymalnym stanie.  Nadal istnieje wystarczająca ilość danych oraz nadmiarowość, aby zapewnić normalnie działanie, gdy macierz jest w optymalnym stanie.


Ze względu na możliwości kontroler do naprawiania błędów podczas normalnego działania wykrywanie zasadniczych problemów z danymi nie zawsze jest łatwe.  W przypadku jednego lub kilku pojedynczych błędów — w dzienniku kontrolera, dzienniku sprzętu lub dzienniku zdarzeń systemu operacyjnego rzadko występują błędy i ostrzeżenia.  Z tego powodu macierz może wydawać się działać sprawnie przez bardzo długi czas, pomimo występowania błędów spójności i/lub pojedynczych błędów.




Rysunek 1: Wiele pojedynczych błędów w macierzy RAID 5 – macierz optymalna


Jak przedstawiono na rysunku 1, macierz ma wiele błędów.  Jednak ponieważ występuje tylko jeden błąd w każdym pasku, kontroler ma nadal dostęp do wszystkich danych ze względu na nadmiarowość macierzy RAID 5.  Jeśli błąd wystąpi w segmencie parzystości, wszystkie dane pozostają nienaruszone i błąd nie ma wpływu na operacje odczytu.  Jeśli błąd wystąpi w segmencie danych, musi nastąpić porównanie XOR między poprawnymi danymi i prawidłowymi elementami parzystości w celu ponownego obliczenia brakującego/uszkodzonego segmentu danych.  Ponieważ występuje tylko jeden błąd w każdym pasku, w obu przypadkach dostępna jest wystarczająca nadmiarowość, aby pomyślnie uzyskać dostęp do wszystkich danych.

Jeśli jeden lub więcej dysków w macierzy RAID zawiera błędy danych, a drugi dysk w macierzy nie jest już aktywnym elementem macierz ze względu na awarię, obcą konfigurację, usunięcie dysku lub jakąkolwiek inną przyczynę, mamy do czynienia z „podwójnym błędem”.  Podwójny błąd powoduje natychmiastową utratę wszystkich danych w paskach, w których występuje.




Rysunek 2: Podwójny błąd z uszkodzonym dyskiem (dane w pasku 1 i 2 zostały utracone) – obniżona wydajność macierzy    


Istnieje możliwość wystąpienia podwójnego błędu, gdy macierz jest w optymalnym stanie.  Sytuacja ta może mieć miejsce, jeśli takie same złe adresy LBA występują na kilku dyskach twardych.  Jest to niezwykle rzadkie, biorąc pod uwagę liczbę adresów LBA na używanych obecnie dużych dyskach twardych.  Prawdopodobieństwo, że ten sam adres LBA na wielu dyskach twardych będzie „uszkodzony” w tym samym czasie, jest bardzo niskie.

Regularne uruchamianie funkcji Sprawdzanie spójności wyeliminuje pojedyncze błędy danych, zarówno fizyczne, jak i logiczne. Sprawdzanie spójności pozwala również ograniczyć ryzyko wystąpienia podwójnego błędu w przypadku dodatkowych błędów.  Jeśli na danym pasku nie występuje więcej niż jeden błąd, sprawdzenie spójności prawie zawsze pozwala go wyeliminować.

Powrót do góry
 

---

 

Rozdział 2: Przebicia: czym są i jak są spowodowane?

Przebicie jest to funkcja kontrolerów PERC firmy Dell zaprojektowana, aby umożliwić kontrolerowi przywrócenie nadmiarowości macierzy pomimo utraty danych spowodowanej podwójnym błędem.  Inną nazwą dla przebicia jest „odbudowa z błędami”.  Kontroler RAID wykrywa podwójny błąd, a ponieważ nie ma wystarczającej nadmiarowości do odzyskania danych na pasku, tworzy przebicie na tym pasku i umożliwia kontynuowanie obudowy.

 

• Podwójnym błędem są wszelkie warunki powodujące niedostępność danych na tym samym pasku na więcej niż jednym dysku
• Podwójne błędy powodują utratę danych na danym pasku
• Wszystkie przebicia są podwójnymi błędami, ale NIE wszystkie podwójne błędy są przebiciami

Rysunek 3. Przebite paski (dane w paskach 1 i 2 zostaną utracone z powodu podwójnego błędu) – macierz optymalna


Bez funkcji przebicia odbudowa macierzy nie powiedzie się, co pozostawiłoby macierz w stanie obniżonej wydajności.  W niektórych przypadkach awarie mogą spowodować kolejne usterki dysków twardych i przejście macierzy w niedziałający stan offline.  Przebicie macierzy nie ma wpływu na możliwość uruchamiania lub dostęp do danych w macierzy.  Wszystkie szkody oraz utrata danych spowodowane podwójnym błędem już wystąpiły. 



Przebicie może wystąpić w jednej z dwóch sytuacji:
 

• Podwójny błąd już istnieje (dane są już utracone)
  • Błąd danych na dysku online jest propagowany (kopiowany) na odtwarzany dysk

 

• Podwójny błąd nie istnieje (dane zostaną utracone w momencie wystąpienia drugiego błędu)
  • W stanie obniżonej wydajności, jeśli uszkodzony blok wystąpi na dysku trybie online, następuje przebicie tego adresu LBA

Zaletą przebicia macierzy jest zachowanie dostępności systemu do produkcji oraz przywrócenie nadmiarowości macierzy.  Dane na danym pasku zostały utracone niezależnie od tego, czy przebicie zostało wykonane.  Podstawową wadą metody LSI jest fakt, że gdy w macierzy występuje przebicie, nienaprawialne błędy będą w dalszym ciągu napotykane za każdym razem, gdy podjęta zostanie próba uzyskania dostępu do uszkodzonych danych (jeśli występują). 


Przebicie może wystąpić w trzech miejscach.  Po pierwsze, przebicie może wystąpić w pustym miejscu, które nie zawiera danych.  Ten pasek będzie niedostępny, ale ponieważ nie zawiera żadnych danych w tym miejscu, nie ma to większego znaczenia.  Wszelkie próby zapisania przez system operacyjny danych na przebitym pasku zakończą się niepowodzeniem i dane zostaną zapisane w innym miejscu. 


Po drugie, przebicie może wystąpić w pasku zawierającym dane, które nie są krytyczne, np. należą do pliku README.TXT.  Jeśli nie jest podejmowana próba odczytania uszkodzonych danych, podczas normalnej pracy we/wy nie są generowane żadne błędy.  Podczas tworzenia kopii zapasowej systemu plików utworzenie kopii plików objętych przebiciem nie powiedzie się.  Wykonanie operacji sprawdzania spójności lub Patrol Read spowoduje wygenerowanie kodu wykrywania:  3/11/00 dla odpowiednich adresów LBA i/lub pasków.


Przebicie może wystąpić w przestrzeni danych, do której w danym momencie jest uzyskiwany dostęp.  W takim przypadku utrata danych może spowodować rozmaite błędy.  Mogą to być drobne błędy, które nie mają niekorzystnego wpływu na środowisko produkcyjne.  Mogą to być bardziej poważne błędy uniemożliwiające uruchomienie systemu operacyjnego lub powodujące nieprawidłowe działanie aplikacji.


 Przebita macierz musi zostać ostatecznie usunięta i ponownie utworzona w celu wyeliminowania przebicia.  Ta procedura powoduje usunięcie wszystkich danych. Dane należy następnie odtworzyć lub przywrócić z kopii zapasowej po usunięciu przebicia.  Rozwiązanie przebicia można zaplanować na czas, który jest najkorzystniejszy dla firmy.


Jeśli dojdzie do próby uzyskania danych z przebitego paska, błędy nadal będą rejestrowane pomimo uszkodzonych adresów LBA bez możliwości ich naprawy. Po upływie pewnego czasu (minut, dni, tygodni, miesięcy itd.) tabela zarządzania uszkodzonymi blokami (BBM) zapełni się, co spowoduje oznaczenie jednego lub kilku dysków flagą „przewidywana awaria” Odnosząc się do rysunku 3, z reguły to dysk 0 zostanie oznaczony flagą przewidywanej awarii, ponieważ na ten dysk propagowane są błędy z dysku 1 i dysku 2. Możliwe jest, że dysk 0 działa normalnie, a jego wymiana spowoduje jedynie, że zastępczy dysk również zostanie oznaczony flagą przewidywanej awarii.


Wykonanie kontroli spójności po przebiciu nie rozwiąże problemu.  Dlatego bardzo ważne jest, aby regularnie przeprowadzać kontrole spójności. Jest to szczególnie ważne przed przystąpieniem do wymiany dysków, jeśli jest taka możliwość. Macierz musi być w optymalnym stanie, aby wykonać sprawdzanie spójności.


Macierz RAID, która zawiera pojedynczy błąd danych w połączeniu z dodatkowym zdarzeniem błędu, takim jak awaria dysku twardego, powoduje przebicie po odbudowie uszkodzonego lub zamiennego dysku w macierzy. Przykład: optymalna macierz RAID 5 zawiera trzy elementy: dysk 0, dysk 1 i dysk 2. Jeśli dysk 0 ulegnie awarii (Rys. 2) i zostanie wymieniony, dane i informacje o parzystości z dysków 1 i 2 są używane do odbudowania brakujących informacji na nowym dysku 0. Lecz jeśli na dysku 1 występuje błąd danych, gdy operacja przebudowy osiągnie ten błąd, nie ma wystarczającej ilości informacji w danym pasku, aby odbudować brakujące dane. Na dysku 0 nie ma danych, na dysku 1 znajdują się uszkodzone dane, a na dysku 2 znajdują się dobre dane w trakcie jego odbudowy. Istnieje wiele błędów na tym pasku. Dyski 0 i 1 nie zawierają poprawnych danych, dlatego nie można odzyskać żadnych danych z tego paska i zostają one utracone.  Na Rysunku 3 przedstawiono wynik, w którym przebicia (na paskach 1 i 2) są tworzone podczas procesu odbudowy. Błędy są przesyłane do dysku 0. 


Przebicie macierzy przywraca nadmiarowość i umożliwia powrót macierzy do stanu optymalnego.  Zapewnia to ochronę macierzy przed utratą kolejnych danych w przypadku wystąpienia kolejnych błędów lub awarii dysków.
 
Powrót do góry
 

---

Rozdział 3: Zapobieganie problemom przed ich wystąpieniem i rozwiązywanie przebić po ich wystąpieniu

Koncepcja pracy na zasadzie „jeśli coś nie jest zepsute, nie należy tego naprawiać” może być kusząca. Chociaż może to być prawdą w wielu dziedzinach, to w celu jak najlepszego zabezpieczenia podsystemów pamięci masowej oraz ich zabezpieczenia stanowczo zaleca się wykonywanie rutynowej, regularnej konserwacji. Konserwacja zapobiegawcza może naprawić istniejące błędy i zapobiec występowaniu niektórych błędów. Nie można zapobiec występowaniu wszystkich błędów, ale większość poważnych błędów można znacznie ograniczyć, wykonując aktywną konserwację. W systemach archiwizacji i podsystemach RAID należy wykonywać następujące czynności:

 

• Aktualizacja sterowników i oprogramowania wewnętrznego kontrolerów, dysków twardych, płyt montażowych i innych urządzeń
• Rutynowe sprawdzanie spójności
• Przeglądanie dzienników w poszukiwaniu problemów

Nie musi to być przegląd techniczny na wysokim poziomie, wystarczy powierzchowna analiza dzienników w poszukiwaniu oczywistych oznak potencjalnych problemów
W przypadku pytań lub wątpliwości skontaktuj się z działem pomocy technicznej firmy Dell.


Jedną z najważniejszych rzeczy, które należy zrobić, jest zapewnienie aktualności oprogramowania wewnętrznego. Oprogramowanie wewnętrzne służy do wykonywania wszystkich operacji logicznych w urządzeniu. Zapewnia ono funkcjonalność i dostępność funkcji urządzenia oraz funkcji obsługi i korekcji błędów. Zapewnienie aktualności oprogramowania wewnętrznego może spowodować większą wydajność i mniejszą liczbę błędów. Aktualizacja oprogramowania wewnętrznego może również dodać nowe funkcje i ulepszenia.


Oprogramowanie wewnętrzne może znajdować się w wielu miejscach. Kontrolery RAID zawierają oprogramowanie wewnętrzne, podobnie jak każdy z dysków twardych zainstalowanych w systemie lub macierzy. Płyty montażowe i zewnętrzne obudowy również zawierają oprogramowanie wewnętrzne, które może mieć wpływ na działanie dysków i macierzy w nich zawartych.


Innym zaleceniem dotyczącym aktywnej konserwacji jest przeprowadzenie testu spójności.  Sprawdzanie spójności jest wykonywane ręcznie, ponieważ wymaga użycia części ogólnie dostępnej przepustowości kontrolera RAID. Na szczęście sprawdzanie spójności można zaplanować na przedział czasowy, który zapewni najmniejszy wpływ na wydajność.


Test spójności wyszuka uszkodzone bloki na dyskach i, co najważniejsze, porówna dane w macierzy w celu upewnienia się, że wszystkie elementy są ze sobą zgodne. Po wykryciu problemu, określany jest prawidłowy format danych poprzez kontrolę danych na innych dyskach macierzy. Korekcja błędów danych, gdy są one względnie mało istotne, jest najlepszym sposobem na ograniczenie ryzyka przebicia spowodowanego przez istniejące błędy danych w połączeniu z drugim błędem lub awarią. Występowanie podwójnych błędów i przebić może spowodować utratę produktywności na czas niezbędny do przywrócenia macierzy i danych do stanu funkcjonowania, a nawet całkowitą utratę wszystkich danych.


W przypadku wystąpienia podwójnego błędu lub przebiciaczęsto występuje utrata części danych. Jeśli błędy te występują w pustym miejscu lub w miejscu, w którym znajdują się mniej istotne dane, bezpośredni wpływ na dane w środowisku produkcyjnym jest stosunkowo niewielki. Jednak występowanie tych błędów może oznaczać, że istnieją poważniejsze problemy. Błędy sprzętu i przestarzałe oprogramowanie wewnętrzne mogą wymagać natychmiastowej uwagi.


Jeśli istnieje identyfikowany podwójny błąd lub przebicie, lub taki stan jest podejrzewany, wykonaj następujące czynności, aby zminimalizować ryzyko wystąpienia poważniejszych problemów:

 

• Wykonaj sprawdzenie spójności (macierz musi być w stanie optymalnym)
• Sprawdź, czy występują problemy ze sprzętem
• Sprawdź dziennik kontrolera
• Wykonaj diagnostykę sprzętu
• W razie potrzeby skontaktuj się z działem pomocy technicznej firmy Dell

Jeśli te czynności zostały wykonane, istnieją dodatkowe kwestie, które należy wziąć pod uwagę. Przebicia mogą z upływem czasu powodować przechodzenie dysków w stan przewidywanej awarii. Błędy danych propagowane na dysk będą zgłaszane jako błędy nośnika na dysku, nawet jeśli w rzeczywistości nie występuje problem ze sprzętem. Za każdym razem, gdy uzyskiwany jest dostęp do adresu LBA, zgłaszany jest błąd. Po zapełnieniu dziennika błędów dysk zgłosi swoją przewidywaną awarię.


Pojedyncze przebicie adresu LBA na dysku może być zgłoszone wielokrotnie. W zależności od liczby przebić może się zdarzyć, że stan przewidywanej awarii będzie zgłaszany dla wielu dysków w macierzy. Wymiana dysku w stanie przewidywanej awarii spowoduje, że istniejące przebicia zostaną przeniesione na nowy dysk, dla którego zostanie również zgłoszony stan przewidywanej awarii. W takim przypadku jedynym działaniem naprawczym jest rozwiązanie problemu z przebiciem.


Na rysunku 3 widać przebicie na paskach 1 i 2. Wymiana dysków twardych nie rozwiąże tego problemu, ponieważ nie ma wystarczającej nadmiarowości danych do odbudowania oryginalnych danych. Wszystkie dane zawarte w przebitych paskach zostaną utracone (o ile nie zostały zachowane w poprzedniej kopii zapasowej). Należy pamiętać, że to nie przebicie powoduje utratę danych, a wystąpienie podwójnego błędu. Przebicie jest sposobem na przywrócenie nadmiarowości w macierzy, która zawiera podwójny błąd.
 

 

 

 

1. Odrzuć zachowaną pamięć podręczną (jeśli istnieje)
2. Usuń obce konfiguracje (jeśli występują)
3. Usuń macierz
4. Zmień położenie napędów o jeden (patrząc na Rysunek1, przenieś dysk 0 do gniazda 1, dysk 1 do gniazda 2 i dysk 2 do gniazda 0)
5. Odtwórz macierz w wymagany sposób
6. Wykonaj pełną inicjalizację macierzy (nie szybką inicjalizację)
7. Sprawdź spójność macierzy

Jeśli sprawdzanie spójności nie wykaże błędów, można bezpiecznie przyjąć, że macierz jest sprawna i przebicie zostało usunięte. Dane można teraz przywrócić do „zdrowej” macierzy.


W poważniejszych przypadkach problem może nie zostać rozwiązany, a błędy mogą nadal występować pomimo wykonania tych czynności. Jeśli wykonanie tych czynności nie rozwiąże problemu, należy skontaktować się z działem pomocy technicznej firmy Dell w celu uzyskania dalszej pomocy.


Konieczne może być bardziej szczegółowe przeanalizowanie przebić w celu określenia, które dyski są wspólne. Na przykład na Rysunku 3 w dzienniku kontrolera znajduje się zapis wskazujący na przebicie między dyskami 0 i 1 oraz przebicie między dyskami 0 i 2. Dysk 0 jest dyskiem wspólnym. Wykonaj te same czynności jak powyżej, ale najpierw całkowicie usuń dyski wspólne. Zatem, korzystając z przykładu na Rysunku 1, usuń dysk 0, a następnie wykonaj opisane czynności. Utwórz macierz, używając pozostałych dysków (1 i 2). Po utworzeniu i ustaleniu przez test spójności, że macierz jest sprawna, dodaj ponownie dysk 0 i wykonaj te czynności ponownie z wszystkimi dyskami lub dodaj pozostałe dyski z powrotem do macierzy za pomocą funkcji RLM (migracja poziomu w macierzy RAID) i/lub OCE (rozszerzenie pojemności online).


Wszystkie dyski oznaczone flagą zbliżającej się awarii powinny zostać usunięte i nie być uwzględnione w procesie odzyskiwania. Ponownie, korzystając z Rysunku 3 jako przykładu, jeśli dysk 0 był w stanie przewidywanej awarii, należy usunąć ten dysk. Następnie należy wykonać czynności opisane powyżej. Ponieważ pozostały tylko 2 dyski, zostanie utworzona macierz RAID 1 zamiast macierzy RAID 5. Po otrzymaniu nowego dysku w miejsce dysku 0 (ze względu na przewidywaną awarię) należy wykonać czynności ponownie z uwzględnieniem wszystkich 3 dysków twardych lub dodać dysk 0 do istniejącej macierzy przy użyciu funkcji RLM, a następnie zmienić typ macierzy z RAID 1 z 2 dyskami na RAID 5 z 3 dyskami.


Proces ten może być przytłaczający, zwłaszcza jeśli pod uwagę weźmiemy potencjalną utratę danych. Z pewnością prawdziwe jest w tym przypadku powiedzenie, że „szczypta zapobiegliwości jest warta więcej niż funt lekarstw”. Z doświadczenia wynika, że prawie wszystkich podwójnych błędów i przebić można uniknąć, wykonując zapobiegawczą konserwację sprzętu i macierzy RAID.
 

 

 

Powiązany artykuł:
PERC – jak naprawić przebicie w macierzy RAID

 

Powrót do góry

 

-

-