Використання Systemd для автоматичного відновлення системи

З включенням підтримки апаратного забезпечення watchdog, systemd у новій версії може виконувати функцію фонової служби Linux. У системах Dell PowerEdge це обладнання може бути або таймером для спостереження за чіпсетом, вбудованим у чіпсет платформи (наприклад, Intel ICH9), або IPMI-сумісним сторожовим таймером BMC від Dell iDRAC.

Dell iDRAC надає функцію автоматичного відновлення системи, яка, крім відновлення після блокування операційної системи, може зробити скріншот для аналізу пізніше. Для цього потрібно було додаткове програмне забезпечення операційної системи. У новіших дистрибутивах, у яких передбачено підтримку systemd, ця можливість працює з програмним забезпеченням, доступним за замовчуванням у дистрибутиві, усуваючи потребу у додатковому програмному забезпеченні.

Втім, можна було використовувати фонову службу watchdogd у Linux, але існувала ймовірність, що фонова служба сама могла заблокуватися, поки решта системи працювала. systemd діє як наглядовий пес програмного забезпечення для всіх системних служб, а таймер нагляду BMC діє як наглядовий пес обладнання для самої systemd. Отже, якщо systemd не працює, існує велика ймовірність, що система загалом непридатна для використання. Отже, тепер у нас є надійніший метод для всіх системних служб — засіб керування службами (systemd), за яким «стежить» сторожовий таймер BMC.

Сполучною ланкою між systemd і вочдогом BMC Dell iDRAC є модуль ядра ipmi_watchdog, який надає доступ до програмного інтерфейсу наглядового таймера Linux для вочдога BMC за допомогою /dev/watchdog. Systemd використовує цей інтерфейс для періодичного вигнання засобу спостереження.

Налаштування systemd за допомогою ipmi_watchdog

Systemd можна налаштувати на використання засобу спостереження bmc iDRAC за допомогою таких кроків (у Fedora 19):

1. Так як в системі є два сторожових таймера (чіпсет і BMC), ми можемо використовувати будь-який з них. Для цього прикладу ми відключаємо вочдог чіпсета. Чіпсет сторожового пса можна відключити, встановивши опцію «Таймер операційної системи Watchdog» в BIOS системи на «Відключено» (за замовчуванням).
2. Прийдіть до значення тайм-ауту для сторожового пса, скажімо, 180 секунд.
3. Увімкніть завантаження модуля ядра ipmi_watchdog під час запуску системи з тайм-аутом зверху:

• Спосіб 1: Створіть /etc/modules-load.d/ipmi_watchdog з таким вмістом
  • Параметри тайм-ауту ipmi_watchdog = 180
  • Список заборон iTCO_wdt # Необов'язково. Якщо чіпсет сторожового пса не відключений в BIOS.
• Спосіб 2:
  • Встановіть OpenIPMI rpm
    • $ sudo yum встановити OpenIPMI
  • Встановіть IPMI_WATCHDOG=yes та IPMI_WATCHDOG_OPTIONS за допомогою тайм-ауту у /etc/sysconfig/ipmi.
  • Увімкніть автоматичний запуск служби ipmi
    • $ sudo systemctl включити ipmi
• Увімкніть сторожовий пес systemd:
  • Розкоментовано і встановлено параметр RuntimeWatchdogSec=180 у /etc/systemd/system.conf
• Перезапуск systemd
  • # systemctl daemon-reexec

Перевірте, чи це працює:

1. Перевірте, чи активний сторожовий пес
   • $ sudo journalctl |grep -i 'hardware watchdog' # має показувати, що systemd налаштовано на використання IPMI watchdog.
   • $ sudo ipmitool mc watchdog get # перевірте, чи є "Сторожовий таймер: Запущено/запущено».
2. Проведіть тестування, імітуючи паніку ядра (не робіть цього на продакшн-системі). Переконайтеся, що kdump вимкнено.
   • $ sudo echo c > /proc/sysrq-trigger
3. Після скидання системи переконайтеся, що зображення екрана відмови доступне в iDRAC
   • Увійдіть у веб-інтерфейс iDRAC
   • Огляд -> Сервер -> Усунення несправностей -> Останній екран аварійного завершення роботи.