RAID 어레이에서 이중 오류 및 손상

목차

1. 데이터 오류 및 이중 오류
2. 손상: 손상의 정의와 발생 원인
3. 문제가 발생하기 전의 예방과 손상이 발생한 후의 해결
   
    

1장: 데이터 오류 및 이중 오류

RAID 어레이는 데이터 오류의 영향을 받습니다.  RAID 컨트롤러와 하드 드라이브 펌웨어에는 데이터가 어레이/드라이브에 기록되기 전에 여러 가지 유형의 데이터 오류를 감지하고 수정하기 위한 기능이 있습니다.  오래된 펌웨어를 사용하면 최신 펌웨어 버전에서 사용할 수 있는 오류 처리/오류 수정 기능이 없기 때문에 잘못된 데이터가 어레이/드라이브에 기록될 수 있습니다.


물리적인 불량 블록으로 인해 데이터 오류가 발생할 수도 있습니다.  예를 들어, 읽기/쓰기 헤드가 회전 플래터와 충돌할 때 이 현상이 발생할 수 있습니다("헤드 크래시"이라고 알려진 현상).  블록은 시간이 경과함에 따라 비트를 특정 위치에 자기적으로 저장하는 플래터의 성능이 저하되면서 불량한 상태로 바뀔 수 있습니다.  플래터의 성능 저하로 인해 발생하는 불량 블록은 읽기 작업은 가능한 경우가 많습니다.  이러한 불량 블록은 간헐적으로만 감지되거나 드라이브에 대한 확장 진단으로만 감지될 수 있습니다.  


불량 블록은 불량 논리 블록 주소(LBA)로도 알려져 있으며 논리적인 데이터 오류로 인해 발생할 수도 있습니다.  이 현상은 쓰기에 성공한 것으로 보고된 경우에도 데이터가 드라이브에 잘못 기록될 때 발생합니다.  또한 드라이브에 저장된 정상적인 데이터가 우발적으로 변경될 수도 있습니다.  한 가지 예시를 들면, 읽기/쓰기 헤드가 해당 위치를 지나치거나 근처의 위치에 기록하여 0과 1의 형태로 되어 있는 데이터를 다른 값으로 변경시킬 때 발생할 수 있는 "비트 플립"입니다.  이러한 상태가 발생하면 데이터의 "일관성"이 손상됩니다.  특정 블록에 있는 데이터의 값이 원래 데이터와 달라지게 되어 데이터의 체크섬과 더 이상 일치되지 않을 수 있습니다.  물리적 LBA가 양호하고 성공적으로 쓸 수 있지만 현재 잘못된 데이터가 포함되어 있어 불량 블록으로 해석될 수 있습니다.


불량 LBA는 일반적으로 감지 코드 3/11/0으로 보고됩니다. Sense Key 3은 미디어 오류입니다.  11/00의 추가 감지 코드 및 추가 감지 한정자는 복구되지 않은 읽기 오류로 정의됩니다.  블록을 수정하려는 시도가 없었고 불량 블록이 드라이브 플래터에 생긴 물리적인 결함 때문에 생긴 것인지 다른 원인에 의한 데이터의 오류 때문에 생긴 것인지와 관련하여 판단을 내리지 않았습니다.  감지 코드 3/11/00이 있더라도 물리적 드라이브에 오류가 있거나 해당 드라이브를 교체해야 한다는 의미는 아닙니다.


Dell 하드웨어 기반 RAID 컨트롤러는 많은 데이터 오류 시나리오를 수정하기 위해 패트롤 읽기 및 일관성 검사 같은 기능을 제공합니다.  기본적으로 패트롤 읽기는 데이터를 올바르게 읽을 수 있는지 확인하기 위해 하드 드라이브의 모든 개별 블록을 점검하는 자동화된 백그라운드 작업으로 작동합니다.  패트롤 읽기는 불량인 블록을 수정하거나 수정 불가능한 블록을 예비 블록으로 다시 매핑하려고 할 것입니다.  일관성 검사는 데이터 및 중복이 올바르게 일치하는지 확인하기 위해 어레이의 모든 드라이브를 서로 비교하는 수동으로 활성화되는 기능입니다(예약 가능).  예를 들어, 데이터와 패리티가 올바른 값을 사용하고 있는지 확인하기 위해 RAID 5 어레이에 있는 드라이브 3개를 비교합니다.  단일 오류가 감지되면 나머지 데이터 및/또는 패리티를 사용하여 다시 쓰고 잘못된 값을 수정합니다.  마찬가지로, RAID 1 어레이의 경우 한 드라이브의 데이터를 다른 드라이브와 비교하여 데이터가 올바르게 미러링되는지 확인합니다.


RAID 어레이의 오류가 하나라도 수정되지 않으면 어레이에 더 심각한 오류가 발생할 수 있습니다. 특히 두 번째 오류가 발생할 경우 더욱 그렇습니다.  어레이가 최적의 상태를 유지하면 단일 오류가 하나 이상 발생해도 데이터가 손실되지는 않을 것입니다.  어레이가 최적의 상태인 동안 정상적으로 작동할 수 있는 충분한 데이터 및 이중화가 있습니다.


컨트롤러는 정상 작동 중에 오류를 수정할 수 있기 때문에 데이터의 근본적인 문제가 있을 때 탐지하기가 항상 쉽지만은 않습니다.  단일 오류 조건이 하나 이상 존재할 때 컨트롤러 로그, 하드웨어 로그 또는 운영 체제 이벤트 로그에 오류 또는 경고가 있는 경우는 드뭅니다.  이러한 이유로 일관성 오류 및/또는 단일 오류가 있는 경우에도 어레이는 장시간 정상적으로 작동하는 것으로 나타날 수 있습니다.




그림 1: RAID 5 어레이에 발생한 여러 개의 단일 장애 - 최적의 어레이


그림 1에 표시된 것처럼 어레이에 여러 오류가 있습니다.  하지만 스트라이프에 단일 오류만 있기 때문에 컨트롤러는 RAID 5의 중복성을 이용하여 계속 모든 데이터에 액세스할 수 있습니다.  오류가 패리티 세그먼트에서 발생하면 모든 데이터는 손상이 없으며 오류는 읽기 작업에 영향을 주지 않습니다.  오류가 데이터 세그먼트에서 발생하는 경우 누락/불량 데이터 세그먼트를 다시 계산하기 위해 정상적인 데이터와 정상적인 패리티 데이터 사이에서 XOR 비교를 수행해야 합니다.  두 경우 모두 스트라이프에 단일 오류만 있으므로 모든 데이터에 액세스할 수 있는 이중화가 충분합니다.

RAID 어레이에 있는 하나 이상의 드라이브에 데이터 오류가 있으며, 드라이브 오류, 외부 구성, 드라이브 제거 또는 기타 다른 이유로 인해 어레이의 다른 드라이브가 더 이상 활성 구성원이 아닌 경우 "이중 장애"라는 조건이 발생합니다.  이중 장애 조건이 발생하면 영향을 받는 스트라이프에 있는 모든 정보에 대하여 즉시 데이터 손실이 발생합니다.




그림 2: 장애가 발생한 드라이브의 이중 장애(스트라이프 1과 2의 데이터가 손실됨) - 어레이 성능 저하


어레이가 최적의 상태로 남아 있는 상태로 이중 장애 조건이 발생할 수 있습니다.  이 상황은 다수의 하드 드라이브에 있는 동일한 불량 LBA에서 발생합니다.  오늘날의 비교적 큰 하드 드라이브에 있는 LBA의 순수한 숫자를 생각하면 이러한 조건은 극히 드물게 나타납니다.  여러 하드 드라이브의 동일한 LBA가 동시에 "불량"일 가능성은 매우 낮습니다.

정기적인 일관성 검사 작업을 수행하면 물리적 불량 블록이나 데이터의 논리적 오류 등 단일 장애를 수정할 수 있습니다. 또한 일관성 검사는 추가 오류 발생 시 이중 오류 조건이 발생할 위험을 완화시킵니다.  주어진 스트라이프에서 단일 오류만 있는 경우에는 일관성 검사로 거의 항상 오류를 제거할 수 있습니다.

맨 위로 이동
 

---

 

2장: 손상: 손상의 정의와 발생 원인

손상은 이중 오류 조건으로 인해 데이터가 손실되는 경우에도 컨트롤러에서 어레이의 중복성을 복원할 수 있게 하도록 설계된 Dell의 PERC 컨트롤러의 특징입니다.  손상에 대한 다른 이름은 "오류가 있는 상태에서 재구성"입니다.  RAID 컨트롤러에서 이중 오류를 감지하지만 영향을 받은 스트라이프에서 데이터를 복구하기 위한 중복이 부족하기 때문에 컨트롤러에서는 해당 스트라이프에 손상을 만들고 재구성이 계속 진행되게 합니다.

 

• 둘 이상의 드라이브에서 같은 스트라이프에 데이터를 액세스하지 못하게 하는 조건이 이중 오류입니다.
• 이중 오류가 발생하면 영향을 받는 스트라이프의 모든 데이터가 손실됩니다.
• 모든 손상은 이중 오류이지만 모든 이중 오류가 손상은 아닙니다.

그림 3: 손상된 스트라이프(스트라이프 1 및 2의 데이터는 이중 장애 조건으로 인해 손실됨) - 최적의 어레이


손상 기능이 없으면 어레이 재구축이 실패하고 어레이는 성능 저하 상태가 됩니다.  경우에 따라 이 실패 때문에 다른 드라이브에 오류가 발생하여 어레이가 작동하지 않는 오프라인 상태가 될 수 있습니다.  어레이 손상은 어레이의 데이터에 액세스하거나 부팅하는 능력에 전혀 영향을 주지 않습니다.  이중 오류 조건에 의한 피해 또는 데이터 손실은 이미 발생했습니다. 



손상은 다음과 같은 두 가지 상황 중의 하나에서 발생할 수 있습니다.
 

• 이중 오류가 이미 존재하는 경우(데이터가 이미 손실)
  • 온라인 드라이브에 발생한 데이터 오류는 재구성 드라이브로 전파(복사)됩니다.

 

• 이중 오류가 존재하지 않는 경우(두 번째 오류가 발생할 때 데이터가 손실됨)
  • 성능 저하 상태에서 온라인 드라이브에 불량 블록이 발생하면 해당 LBA가 손상됩니다.

어레이 손상의 장점은 프로덕션에서 시스템을 계속 이용할 수 있게 만들고 어레이의 중복성이 복원된다는 것입니다.  손상의 발생 여부와 무관하게 영향을 받는 스트라이프의 데이터가 손실되었습니다.  LSI 방법의 주요 단점은 어레이에 손상이 있는 동안 영향을 받은 데이터(있을 경우)에 액세스할 때마다 수정할 수 없는 오류가 계속 발생한다는 것입니다. 


손상은 세 곳에서 발생할 수 있습니다.  첫 번째, 데이터가 없는 빈 공간에서 손상이 발생할 수 있습니다.  해당 스트라이프는 액세스할 수 없지만 해당 위치에 데이터가 없기 때문에 큰 영향은 없습니다.  OS에서 손상된 스트라이프에 기록하려는 모든 시도는 실패하고 데이터는 다른 위치에 기록됩니다. 


두 번째, README.TXT 파일처럼 중요하지 않은 데이터가 포함된 스트라이프에서 손상이 발생할 수 있습니다.  영향을 받는 데이터에 액세스하지 않으면 정상 I/O 중에 오류가 발생하지 않습니다.  파일 시스템 백업을 시도하면 손상의 영향을 받는 파일은 백업하지 못합니다.  일관성 검사 또는 패트롤 읽기 작업을 수행하면  해당 LBA 및/또는 스트라이프에 대해 감지 코드 3/11/00이 생성됩니다.


셋째, 액세스하는 데이터 공간에 손상이 발생할 수 있습니다.  이러한 경우에 손실된 데이터로 인해 다양한 오류가 발생할 수 있습니다.  이 오류는 프로덕션 환경에 유해한 영향을 주지 않는 사소한 오류일 수도 있습니다.  이보다 심각한 오류가 발생하여 시스템이 운영 체제로 부팅하지 못하거나 애플리케이션에서 오류가 발생할 수도 있습니다.


 손상이 발생한 어레이는 손상을 제거하기 위해 결국 삭제되고 다시 만들어져야 합니다.  이 절차를 수행하면 모든 데이터가 삭제됩니다. 그 다음에는 손상을 제거한 후 데이터를 다시 만들거나 백업에서 복원해야 합니다.  손상에 대한 해결 방법은 비즈니스 요구 사항에 더 유리한 시간에 예약할 수 있습니다.


손상된 스트라이프에 있는 데이터에 액세스하는 경우 영향을 받는 불량 LBA에 대해 오류가 계속 보고되며 가능한 수정 사항이 없습니다. 결국(분, 일, 주, 개월 등의 단위가 될 수 있음), 불량 블록 관리(BBM) 테이블이 채워져 하나 이상의 드라이브에 예측 오류로서 플래그 표시됩니다. 그림 3을 보면 드라이브 1 및 2의 오류가 드라이브 0에 전파되기 때문에 대체적으로 드라이브 0이 예측 오류로 플래그 표시되는 드라이브가 됩니다. 드라이브 0은 실제로 정상적으로 작동할 수 있으며 드라이브 0을 교체하면 결국 교체 드라이브에도 예측 오류 플래그가 표시됩니다..


손상이 발생한 후 일관성 검사를 수행해도 문제가 해결되지 않습니다.  때문에 일관성 검사를 정기적으로 수행하는 것이 매우 중요합니다. 가능하면 드라이브를 교체하기 전에 수행하는 것이 특히 중요합니다. 일관성 검사를 수행하려면 어레이가 최적의 상태여야 합니다.


하드 드라이브 오류와 같은 추가 오류 이벤트와 함께 단일 데이터 오류가 포함된 RAID 어레이는 장애가 발생한 드라이브 또는 교체 드라이브가 어레이에 재구축될 때 손상을 유발합니다. 예를 들어 최적의 RAID 5 어레이에 드라이브 0, 드라이브 1 및 드라이브 2의 구성원이 3개 포함되어 있습니다. 드라이브 0에 문제가 발생하여(그림 2) 교체되는 경우 드라이브 1 및 2에 남아 있는 데이터 및 패리티를 사용하여 누락된 정보를 다시 교체 드라이브 0에 재구성합니다. 하지만 드라이브 1에 데이터 오류가 존재하고 재구성 작업이 해당 오류에 도달하면 해당 스트라이프에 누락된 데이터를 재구성하는 데 필요한 정보가 해당 스트라이프 내에 부족하게 됩니다. 재구성할 때 드라이브 0에는 데이터가 없고, 드라이브 1에는 불량 데이터가 있고, 드라이브 2에는 정상적인 데이터가 있게 됩니다. 해당 스트라이프 안에는 다수의 오류가 있습니다. 드라이브 0 및 드라이브 1에 유효한 데이터가 없어서 해당 스트라이프의 데이터를 복구할 수 없고 결국 손실됩니다.  그림 3에 나와 있는 결과는 재구성 중에 (스트라이프 1 및 2에서) 손상이 생기는 것을 보여줍니다. 오류는 드라이브 0으로 전파됩니다. 


어레이 손상은 중복성을 복원하고 어레이를 최적의 상태로 되돌려  추가 오류 또는 드라이브 오류가 발생할 때 어레이에 추가 데이터 손실이 생기는 것을 방지합니다.
 
맨 위로 이동
 

---

3장: 문제가 발생하기 전의 예방책과 손상이 발생한 후의 해결책

"완전히 고장난 것이 아니면 고치지 마라."라는 전제 속에서 운영하고 싶은 유혹이 생길 수 있습니다. 많은 분야에서 적용되지만 스토리지 하위 시스템을 최상으로 보호하고 관리하려면 정기적으로 유지 관리를 하는 것을 적극 권장합니다. 사전 유지 관리를 수행하면 기존의 오류를 수정하고 오류 발생을 방지할 수 있습니다. 모든 오류의 발생을 방지할 수는 없지만 사전 유지 관리를 수행하면 대부분의 심각한 오류를 크게 완화시킬 수 있습니다. 스토리지 및 RAID 하위 시스템의 경우에 이러한 단계는 다음과 같습니다.

 

• 컨트롤러, 하드 드라이브, 후면판 및 기타 장치의 드라이버 및 펌웨어 업데이트
• 정기적인 일관성 검사 작업 수행
• 문제를 확인하기 위한 로그 검토

이는 높은 수준의 기술 검토일 필요는 없으며, 간단히 로그에서 잠재적인 문제에 대한 명백한 징후가 있는지 확인할 수 있습니다.
질문이나 우려 사항이 있는 경우 Dell 기술 지원에 문의하십시오.


펌웨어를 최신 상태로 유지하는 것이 가장 중요한 작업 중 하나입니다. 펌웨어는 장치의 동작을 위한 모든 로직이 있는 곳입니다. 장치의 기능 및 특징과 함께 다양한 오류 처리 및 오류 수정 기능을 제공합니다. 펌웨어를 최신 상태로 유지하면 성능을 개선하고 오류를 줄일 수 있습니다. 펌웨어 업데이트를 통해 새로운 기능 및 개선 사항을 추가할 수도 있습니다.


펌웨어는 여러 곳에 위치할 수 있습니다. RAID 컨트롤러에 펌웨어가 포함되어 있고 시스템 또는 어레이에 설치된 개별 하드 드라이브에도 각각 펌웨어가 포함되어 있습니다. 백플레인과 외부 인클로저에는 포함된 드라이브 및 어레이의 작동에 영향을 줄 수 있는 펌웨어도 들어 있습니다.


또 다른 사전 예방적 유지 보수 권장 사항은 "일관성 검사"를 수행하는 것입니다.  일관성 검사는 RAID 컨트롤러의 전체 이용 가능한 대역폭의 일부를 사용하기 때문에 수동 작업입니다. 하지만 성능에 미치는 영향이 가장 적은 시간에 일관성 검사를 예약할 수 있습니다.


일관성 검사를 통해 드라이브에 불량 블록이 있는지 확인할 수 있지만, 무엇보다 중요한 점은 어레이의 데이터를 비교하여 모든 부분이 올바르게 일치하는지 확인하는 것입니다. 문제를 발견하면 데이터의 올바른 모습을 결정하고 어레이에 있는 다른 드라이브의 데이터를 검사하여 수정합니다. 상대적으로 데이터 오류 개수가 적을 때 수정하는 것이 기존의 데이터 오류와 함께 두 번째 오류 또는 고장이 합쳐져 생기는 손상의 위험을 완화시키는 최상의 방법입니다. 이중 장애 및 손상이 있으면 어레이와 데이터를 정상 작동 상태로 복원하는 데 필요한 시간 동안 생산성이 저하되거나 모든 데이터가 완전히 손실될 수 있습니다.


이중 장애 또는 손상 조건이 있는 경우 데이터 손실이 발생하는 경우가 많습니다. 이러한 오류의 위치가 빈 공간에 있거나 중요하지 않은 데이터 공간에 있는 경우, 프로덕션 환경에 있는 데이터에 대한 영향이 비교적 작습니다. 그러나 이러한 오류가 있으면 더 심각한 문제가 발생할 수 있습니다. 하드웨어 오류 및 오래된 펌웨어에 즉각적인 주의가 필요할 수 있습니다.


알려져 있거나 의심스러운 이중 장애 또는 손상 조건이 있는 경우 보다 심각한 문제의 위험을 최소화하기 위해 다음 단계를 따릅니다.

 

• 일관성 검사 수행(어레이가 최적의 상태이어야 함)
• 하드웨어 문제 존재 여부 결정
• 컨트롤러 로그 확인
• 하드웨어 진단 프로그램 수행
• 필요한 경우 Dell 기술 지원 부서에 문의하십시오.

이러한 단계를 수행했다면 다음과 같은 추가 문제가 나타날 수 있습니다. 손상은 시간이 경과함에 따라 하드 드라이브를 예측 오류 상태로 만들 수 있습니다. 드라이브에 전파되는 데이터 오류는 실제 하드웨어 문제가 없는 경우에도 드라이브에 미디어 오류가 있는 것으로 보고됩니다. LBA에 액세스할 때마다 오류가 보고됩니다. 오류 로그가 꽉 차면 드라이브가 예측 오류로 보고됩니다.


드라이브의 단일 손상 LBA는 여러 번 보고될 수 있습니다. 손상의 수에 따라 어레이에 있는 다수의 드라이브가 예측 오류로 보고될 가능성이 있습니다. 예측 오류 드라이브를 교체하면 기존의 손상이 교체 드라이브로 다시 전파되어 결국 교체 드라이브에도 예측 오류 플래그가 표시됩니다. 이러한 경우 유일한 개선 조치는 손상 조건을 해결하는 것입니다.


그림 3을 보면 스트라이프 1과 2에 손상이 있음을 알 수 있습니다. 원래 데이터를 재구성할 만큼 데이터 중복이 충분하지 않기 때문에 하드 드라이브를 교체해도 이 문제가 해결되지 않습니다. (이전 백업에 보관한 경우를 제외하고) 손상된 스트라이프에 있는 모든 데이터는 손실됩니다. 손상이 데이터 손실을 일으키는 것이 아니라 이중 오류 조건이 데이터 손실을 일으킨다는 것을 기억하십시오. 손상은 이중 오류가 있는 어레이에 중복성을 복원하는 수단입니다.
 

 

 

 

1. 보존된 캐시 삭제(있는 경우)
2. 외부 구성 지우기(있는 경우)
3. 어레이 삭제
4. 드라이브의 위치를 하나씩 옮깁니다(그림 1을 참조하여 디스크 0은 슬롯 1, 디스크 1은 슬롯 2, 디스크 2는 슬롯 0으로 이동).
5. 원하는 대로 어레이를 다시 만듭니다.
6. 어레이의 전체 초기화를 수행합니다(빠른 초기화가 아님).
7. 어레이에서 일관성 검사를 수행합니다.

일관성 검사가 오류 없이 완료되는 경우, 현재 어레이가 정상적인 상태이며 손상된 부분이 제거되었다고 가정할 수 있습니다. 이제 데이터를 정상적 상태의 어레이로 복원할 수 있습니다.


더 심각한 경우 이러한 단계를 따라도 문제가 해결되지 않고 오류가 계속될 수 있습니다. 이러한 단계를 수행해도 문제가 해결되지 않으면 Dell 기술 지원에 문의하여 추가 지원을 받으십시오.


어떤 드라이브가 공통인지 확인하기 위해 손상을 더 자세히 분석해야 할 수도 있습니다. 예를 들어, 그림 3에서 컨트롤러 로그에 디스크 0과 1 사이의 손상과 디스크 0과 2 사이의 손상이 나타납니다. 디스크 0이 공통 드라이브입니다. 위의 동일한 단계를 반복하지만 먼저 공통 드라이브를 완전히 제거합니다. 따라서 그림 1의 예를 참고하여 디스크 0을 제거한 다음에 간략히 설명한 단계를 따릅니다. 나머지 디스크(1과 2)를 사용하여 어레이를 만듭니다. 완료되면 일관성 검사 후 어레이가 정상인 것으로 확인되면 디스크 0을 다시 추가하고 모든 드라이브에서 단계를 다시 수행합니다. 또는 RLM(RAID Level Migration) 및/또는 OCE(Online Capacity Expansion) 기능을 사용하여 나머지 드라이브를 다시 어레이에 추가할 수 있습니다.


예측 오류 플래그가 표시된 드라이브는 모두 제거해야 하며 복구 프로세스에 포함되지 않아야 합니다. 다시 그림 3을 예시로 보자면, 디스크 0이 예측 오류인 경우에는 이 드라이브를 제거합니다. 그 다음에는 위에서 간략하게 설명한 대로 단계를 수행합니다. 남아 있는 드라이브의 개수는 2개이므로 만들어진 RAID 어레이는 RAID 5가 아니라 RAID 1입니다. (예측 오류 때문에) 교체 디스크 0을 획득한 후에는 3개 드라이브를 모두 포함시켜 단계를 다시 수행하거나 RLM을 사용하여 디스크 0을 기존 어레이에 추가하고 드라이브가 2개인 RAID 1에서 드라이브가 3개인 RAID 5로 변경합니다.


이 프로세스는 특히 데이터 손실 가능성을 고려했을 때 부담스러울 수 있습니다. "예방이 치료약보다 낫다"는 격언이 분명히 여기에 해당합니다. 경험을 통하여 RAID 하드웨어 및 어레이에 대한 사전 유지 관리를 수행하여 거의 모든 이중 오류 및 손상 조건을 피할 수 있었다는 것을 알게 되었습니다.
 

 

 

관련 문서
PERC - RAID 손상을 해결하는 방법

 

맨 위로 이동

 

-

-