시스템 자동 복구에 Systemd 사용

Watchdog 하드웨어에 대한 지원이 포함되면서 시스템 시스템은 이제 Watchdog 데몬 Linux의 기능을 수행할 수 있습니다. Dell PowerEdge 시스템에서 이 하드웨어는 플랫폼의 칩셋(예: 인텔 ICH9)에 내장된 칩셋 감시 타이머이거나 Dell iDRAC의 IPMI 호환 BMC Watchdog 타이머일 수 있습니다.

Dell iDRAC는 운영 체제 잠금에서 복구하는 것 외에도 나중에 분석을 위해 스크린샷을 캡처할 수 있는 자동화된 시스템 복구 기능을 제공합니다. 이를 활성화하려면 운영 체제에서 추가 소프트웨어 가 필요했습니다. 시스템을 지원하는 최신 배포판에서는 기본적으로 배포판에서 사용할 수 있는 소프트웨어와 함께 작동하므로 추가 기능 소프트웨어가 필요하지 않습니다.

그러나 Linux에서 watchdogd 데몬을 사용할 수 있었지만, 시스템의 나머지 부분이 작동 중인 동안 데몬 자체가 잠글 가능성이 있었습니다. systemd는 모든 시스템 서비스의 소프트웨어 감시 역할을 하며 BMC Watchdog 타이머는 시스템 자체의 하드웨어 감시 역할을 합니다. 따라서 시스템 작동이 비운용인 경우 일반적으로 시스템을 사용할 수 없을 가능성이 높아질 수 있습니다. 이제 모든 시스템 서비스, 즉 서비스 관리자(시스템)가 BMC의 Watchdog 타이머에 의해 '감시'되는 보다 신뢰할 수 있는 방법을 갖게 되었습니다.

시스템 및 Dell iDRAC의 BMC Watchdog 사이의 접착제는 /dev/watchdog를 사용하여 BMC Watchdog에 대한 Linux watchdog API 액세스를 제공하는 ipmi_watchdog 커널 모듈입니다. Systemd는 이 인터페이스를 사용하여 주기적으로 감시를 시작합니다.

ipmi_watchdog 시스템 설정

이러한 단계(Fedora 19의 경우)와 함께 iDRAC BMC watchdog를 사용하도록 시스템 구성 가능:

1. 시스템에는 2개의 Watchdog 타이머(칩셋 및 BMC)가 있기 때문에 둘 중 하나를 사용할 수 있습니다. 이 예에서는 칩셋 감시를 비활성화합니다. 시스템 BIOS에서 "운영 체제 Watchdog Timer" 옵션을 "Disabled"(기본값)로 설정하여 칩셋 Watchdog을 비활성화할 수 있습니다.
2. Watchdog의 시간 초과 값(예: 180초)에 도달합니다.
3. 위의 시간 초과로 시스템 시작 시 ipmi_watchdog 커널 모듈을 로드할 수 있습니다.

• 방법 1: 다음 컨텐츠로 /etc/modules-load.d/ipmi_watchdog 생성
  • 옵션 ipmi_watchdog 시간 초과=180
  • 거부 목록 iTCO_wdt # 선택 사항. BIOS 설정에서 칩셋 Watchdog이 비활성화되어 있지 않은 경우
• 방법 2:
  • OpenIPMI rpm 설치
    • $ sudo yum install OpenIPMI
  • IPMI_WATCHDOG=yes를 설정하고 /etc/sysconfig/ipmi의 시간 초과로 IPMI_WATCHDOG_OPTIONS.
  • ipmi 서비스가 자동으로 시작되도록 활성화합니다.
    • $ sudo systemctl enable ipmi
• 시스템 감시를 활성화합니다.
  • RuntimeWatchdogSec=180 in /etc/systemd/system.conf의 압축 해제 및 설정
• 시스템 재시작
  • # systemctl 데몬-reexec

이것이 작동하는지 테스트합니다.

1. Watchdog가 활성 상태인지 확인합니다.
   • $ sudo journalctl |grep -i 'hardware watchdog' # 은 IPMI watchdog를 사용하도록 시스템이 설정되어 있음을 표시해야 합니다.
   • $sudo ipmitool mc watchdog get # check if the "Watchdog Timer is: 시작/실행 중입니다."
2. 커널 패닉을 시뮬레이션하여 테스트합니다(운영 시스템에서는 이 작업을 수행하지 마십시오). kdump가 비활성화되어 있는지 확인합니다.
   • $ sudo echo c > /proc/sysrq-trigger
3. 시스템 재설정 후 iDRAC에서 장애 화면 이미지를 사용할 수 있는지 확인합니다.
   • iDRAC 웹 UI에 로그인
   • Overview -> Server -> Troubleshooting -> Last Crash Screen.