PowerEdge: PCI Passthrough "Помилка ввімкнення модуля 'DevicePowerOn'" під час використання графічних процесорів із віртуальними машинами на vSphere

Підготовчі заходи

Ваш хост-BIOS має бути правильно налаштований, щоб увімкнути графічний процесор Nvidia для проходження, а віртуальна машина, призначена для виконання цих прискорених робочих навантажень, повинна відповідати певним вимогам. У цьому розділі описані всі ці вимоги.

Які пристрої?

Ця стаття актуальна, лише якщо ваш пристрій PCI відображає області пам'яті, загальний розмір яких перевищує 16 ГБ. Дотримуйтесь інструкцій VMware KB 1010789 опублікованих, щоб увімкнути прохідні пристрої під vSphere. Як правило, карти, які вимагають більше 16 ГБ відображення пам'яті, є картами високого класу. Дотримуйтесь інструкцій у цій статті, щоб увімкнути їх для використання в режимі передачі у віртуальній машині.
 

BIOS хоста

BIOS хоста має бути налаштований на підтримку великих областей пам'яті, необхідних для цих високоякісних пристроїв PCI. Щоб увімкнути цю функцію, знайдіть налаштування BIOS хоста для «Memoryped mapped I/O понад 4 ГБ» і ввімкніть його.

Гостьова ОС 

Примітка: Ці настройки потрібні тільки в тому випадку, якщо у вас в режимі завантаження BIOS встановлено значення UEFI, якщо в ньому режим Legacy або BIOS ви можете проігнорувати наведені нижче.

Щоб отримати доступ до цих великих відображень пам'яті, підключіться до сайту VMware Гостьова ОС повинна завантажитися з EFI. Тобто ви повинні включити EFI у віртуальній машині, а потім зробити EFI-інсталяцію гостьової ОС.
 

Редагування доступності пристрою PCI на хост-сервері

Встановлений PCI-сумісний апаратний пристрій графічного процесора спочатку розпізнається гіпервізором vSphere під час завантаження сервера без будь-яких спеціальних драйверів, встановлених у гіпервізор.

vSphere розпізнає всі пристрої PCI таким чином. Ви можете переглянути список пристроїв PCI, які знаходяться в інструменті vSphere Client, вибравши конкретний хост-сервер, на якому ви працюєте, і дотримуючись вибору меню.

Налаштуйте" > "Hardware" > "PCI Devices" > "Edit", щоб побачити список, як показано на прикладі на рисунку 2 нижче.

Якщо конкретний пристрій графічного процесора раніше не було ввімкнено для вводу/виводу DirectPath, ви можете перевести пристрій графічного процесора в режим прямого вводу/виводу (наскрізний), клацнувши прапорець на записі пристрою, як показано в прикладі пристрою NVIDIA.

Увімкнення пристроїв високого класу у файлі віртуальної машини

Якщо виконано вищезазначені вимоги, до файлу VMX віртуальної машини слід додати два записи, або змінивши файл безпосередньо, або скориставшись клієнтом vSphere для додавання цих можливостей. Перший запис:

Визначення другого запису вимагає простого обчислення. Підсумуйте розміри пам'яті графічного процесора всіх пристроїв графічного процесора (*), які ви збираєтеся передати у віртуальну машину, а потім округліть до наступного степеня два. Наприклад, щоб використовувати наскрізний зв'язок із 4 пристроями A2 по 16 ГБ, значення буде таким: 32 + 32 = 64, округлені до наступного степеня двійки, щоб отримати 128. Використовуйте це значення у другому записі:

Після цих двох змін у файлі VMX дотримуйтесь стандартних інструкцій VMware KB 1010789 vSphere, щоб увімкнути наскрізні пристрої на рівні хоста та вказати, які пристрої слід передавати у вашу віртуальну машину. Тепер віртуальна машина повинна правильно завантажуватися з вашим пристроєм у режимі передачі.
 

Увімкнення пристроїв високого класу в інтерфейсі користувача

У клієнті vSphere знову виберіть віртуальну машину та скористайтеся опціями.

" Редагувати параметри > , параметри віртуальної машини >, розширені > параметри > конфігурації, редагувати конфігурацію», щоб перейти до списку параметрів, пов'язаних із PCI, наведеного нижче.

Обчислюємо значення параметра "64bitMMIOSizeGB" за допомогою простого підходу. Підрахуйте кількість високоякісних графічних процесорів PCI, які ви збираєтеся передати в цю віртуальну машину. Це може бути один або кілька графічних процесорів. Помножте це число на 16 і округліть його до наступного степеня двійки.

Наприклад, щоб використовувати режим передачі даних із двома пристроями графічного процесора в одній віртуальній машині, значення буде таким: 4 * 16 = 64, округлені в більшу сторону до наступного ступеня двійки, щоб отримати 128.
 

Призначення пристрою графічного процесора віртуальній машині

У цьому розділі описано призначення пристрою графічного процесора віртуальній машині. Вимкніть віртуальну машину, перш ніж призначити їй пристрій графічного процесора.

Щоб увімкнути доступ віртуальної машини до пристрою PCI, у клієнті vSphere виберіть віртуальну машину, скористайтеся опцією «Редагувати налаштування» та прокрутіть униз до списку пристроїв PCI. Якщо вашого пристрою ще немає в списку, скористайтеся кнопкою «Додати новий пристрій», щоб додати його до списку. Після додавання налаштування вашої віртуальної машини повинні виглядати так само, як показано на малюнку 7. У цьому прикладі відповідним записом є «Пристрій PCI 0».

Резервування пам'яті

Коли пристрій PCI призначається віртуальній машині, віртуальна машина повинна мати резервування пам'яті для повністю налаштованого розміру пам'яті для віртуальної машини. Це робиться в клієнті vSphere, вибираючи віртуальну машину, використовуючи "Edit Settings > Virtual Hardware > Memory" для доступу та зміни значення в області резервування.

Нарешті, увімкніть віртуальну машину. Після включення віртуальної машини увійдіть в гостьову ОС і перевірте, чи присутня карта GPU за допомогою.

• На віртуальній машині Linux використовуйте команду

"lspci | grep nvidia"

Або

• В операційній системі Windows використовуйте «Диспетчер пристроїв» на панелі керування, щоб перевірити доступні пристрої графічного процесора

Тепер графічний процесор готовий до використання додатків у режимі передачі.

Виправлення неполадок

Якщо ви дотримувалися наведених вище інструкцій, але ваша віртуальна машина все ще не завантажується належним чином з увімкненими пристроями, матеріал цього розділу може бути корисним. Якщо ви скористалися наведеними нижче порадами, але проблема не зникла, зв'яжіться з нами, і ми зможемо вам допомогти.
 

Проблема картографування:
Якщо у файлі vmware.log віртуальної машини відображається помилка, подібна до наведеної нижче:

Настройки BIOS не відповідають вимогам ESXi для ввімкнення цього типу прохідного пристрою. Від ESXi 6.0 p4 до ESXi 6.5 вимагає, щоб пам'ять, яка зіставлена для пристроїв PCI, була меншою за 16 ТБ. Цю проблему можна вирішити, якщо ваш BIOS підтримує можливість контролювати, наскільки високо в адресному просторі пам'яті хоста відображаються області пам'яті PCI. Деякі виробники, наприклад, SuperMicro, мають опції BIOS, щоб змінити висоту відображення цієї пам'яті. У системах SuperMicro параметр MMIOHBase може бути змінений на більш низьке значення з 56 ТБ за замовчуванням. Системи Sugon також мають подібну (приховану) настройку BIOS. Зверніться до постачальника системи, щоб дізнатися, чи підтримує ваш BIOS цю функцію перепризначення. Іншим рішенням є оновлення версії ESXi до 6.5 u1 або вище, що зняло обмеження в 16 ТБ.

Неправильна конфігурація:
Помилка у файлі vmware.log такого вигляду:

Вказує на те, що ви неправильно ввімкнули відображення «понад 4 ГБ» у BIOS хоста, як описано в розділі «BIOS хоста» вище, або неправильно вказали записи VMX.

Не можна використовувати пристрій:
Якщо ви виконали всі вищеописані інструкції і ваша віртуальна машина завантажилася правильно, але під час запуску утиліти nvidia-smi у гостьовій ОС ви бачите повідомлення, подібне до наведеного нижче:

Ми рекомендуємо зв'язатися безпосередньо з Nvidia або здійснити пошук в Інтернеті за допомогою цього рядка, щоб знайти додаткову інформацію, яка може бути корисною.