Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

Як налаштувати гостьову RDMA на Windows Server

Summary: У цій статті пояснюється, як налаштувати гостьову RDMA на Windows Server.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Instructions

Зміст

  1. Впровадження віддаленого прямого доступу до пам'яті (RDMA)

  2. Лабораторне середовище

  3. Конфігурація обладнання

  4. Налаштування гостьової RDMA

  5. Командлети Powershell

  6. Посилання для скачування


1. Впровадження віддаленого прямого доступу до пам'яті (RDMA)

Віддалений прямий доступ до пам'яті (RDMA) — це чудова технологія, яка дозволяє комп'ютерам передавати дані через мережу без залучення ресурсів центрального процесора або ОС задіяних хостів (обчислення/сховище), покращуючи пропускну здатність і продуктивність, зменшуючи затримку та накладні витрати на процесор.

На сьогоднішній день існує дві популярні реалізації RDMA:

RoCE
- Транспорт: UDP/IP (RoCE v2)
- покладається на DCB (Data Center Bridging)

iWarp
- базова мережа: TCP/IP
- TCP забезпечує контроль потоку та управління перевантаженнями


RoCE значною мірою покладається на конфігурацію DCB, таку як ETS (Enhanced Transmission Service) і PFC (Priority Flow Control), які можуть стати проблемою, якщо мережеві комутатори не налаштовані належним чином. iWARP не вимагає конфігурації перемикача.

Корпорація Майкрософт почала підтримувати RDMA на Windows Server 2012 і додала нові функції в пізніші ОС Windows Server. Однією з функцій, доступних у найновішій ОС Microsoft, Windows Server 2019, є можливість представляти RDMA гостьовій ОС (VM). Це дозволяє гостю мати такий самий доступ до мережевого сховища з низькою затримкою, як і власний хост, зменшуючи навантаження на процесор і покращуючи пропускну здатність/продуктивність безпосередньо у віртуальній машині.


Dell EMC пропонує чудові варіанти для RDMA зі швидкістю 25 Гбіт/с, такі як Cavium QLogic FastLinQ 41262 Dual Port 25 GbE SFP28 (iWarp/RoCE) та Mellanox ConnectX-4 Lx 25Gbps RDMA (RoCE). У цьому прикладі використовується Mellanox ConnectX-4 Lx RDMA (режим RoCEv2) для демонстрації функції Guest RDMA.

2. Лабораторне середовище

Серверів: 2 x Dell EMC R7425 (32-ядерний процесор AMD Epyc 7551), 256 ГБ пам'яті, Mellanox ConnectX-4 Lx повністю оновлений (BIOS, прошивка, драйвери та ОС)
Ролі/Встановлені функції: Hyper-V, DCB, відмовостійкі кластеризації, S2D
перемикання: Dell EMC S5048F-ON – MGMT VLAN 2, SMB VLAN 15
 
Dell EMC рекомендує оновити BIOS, прошивки, драйвери та операційну систему в рамках запланованого циклу оновлення. Оновлення BIOS, прошивки, драйверів та ОС призначені для підвищення надійності, стабільності та безпеки вашої системи.

3. Конфігурація обладнання

1. Перезавантажте сервери та перейдіть до налаштування системи (натисніть F2 під час POST).

2. Виберіть Налаштування пристрою.


Налаштування рівня пристрою BIOS
Малюнок 1 - Налаштування
 
пристрою BIOS 3. Виберіть NIC у слоті 1 порт 1 - Mellanox


Рівень пристрою BIOS MellanoxМалюнок 2 - Слот Mellanox 1 порт 1 Налаштування

пристрою 4.  Перейдіть до конфігурації на рівні пристрою Малюнок 3 - Конфігурація


Конфігурація на рівні пристрою BIOS

рівня пристрою 5.  Виберіть SR-IOV у режимі віртуалізації.

Рівень пристрою BIOS SR-IOV
Рисунок 4 - Налаштування
 
SR-IOV 6. Повторіть описані вище кроки на NIC у слоті 1 порту 2 - Mellanox.

Рівень пристрою BIOS Mellanox2
Малюнок 5 - Слот Mellanox 1 порт 2 Налаштування
 
пристрою 7. Поверніться до головного меню «Налаштування системи», а потім виберіть «Системний BIOS».

Системний BIOS
Рисунок 6 - Система BIOS
 
8. Виберіть Інтегровані пристрої.

Інтегровані пристрої
Малюнок 7 - Інтегровані в BIOS пристрої
 
9. Увімкніть опцію SR-IOV Global Enable.

Глобальне включення SR-IOV
Рисунок 8 - SR-IOV Global
 
10. Збережіть конфігурацію та перезавантажте сервер.
 

4. Налаштування гостьової RDMA


1. Інсталюйте Windows Server 2019+
2. Інсталюйте роль Hyper-V і функцію мосту центрів обробки даних (DCB).
3. Налаштування QoS (Quality-of-Service), DCB, PFC, ETS. Переконайтеся, що NIC і конфігурація QoS сервера збігаються з конфігурацією комутатора.
4. Налаштуйте Hyper-V SET (Switch Embedded Team).

Увімкніть перемикач Hyper-V
Рисунок 9 - Конфігурація
 
vSwitch 5. Перевірте зв'язок RDMA між фізичними серверами перед налаштуванням віртуальних машин. Завантажте Microsoft Diskspd і скрипт Microsoft Test-RDMA PowerShell. Продовжуйте виконувати наведені нижче кроки, лише якщо зв'язок працює належним чином. В іншому випадку перевірте конфігурацію перемикача та/або налаштування DCB на хості.

Перевірте зв'язок RDMA1
Рисунок 10 - Тест-РДМА Фізичні господарі
 
6. Перевірте, чи ввімкнено SR-IOV на адаптерах RDMA на обох серверах.

Переконайтеся, що SR-IOV увімкнено
Рисунок 11 - Увімкнено
 
SR-IOV 7. Створіть дві віртуальні машини (гостьові ОС) 2-го покоління, по одній на кожному сервері, а потім інсталюйте Windows Server 2019. У цьому сценарії створюється гостьова ОС із двома vNIC, один для трафіку MGMT (VLAN 2) і один для трафіку SMB (VLAN 15).

Створення 2 віртуальних машин NetConfig
Рисунок 12 - Хост конфігурації мережі гостьової ОС R7425-01
2 Віртуальна машина NetConfig2

, рисунок 13 - Вузол конфігурації мережі віртуальної машини R7425-02

8.  Вимкніть віртуальні машини.
9. Увімкніть SR-IOV і RDMA на гостьовій ОС.

Увімкнення SR-IOV та гостя RDMA
Рисунок 14 - Увімкніть SR-IOV/RDMA на гостьових ОС
 
10. Запустіть віртуальні машини, а потім відкрийте диспетчер пристроїв. Віртуальна функція Mellanox (VF) має бути вказана в розділі «Мережеві адаптери». VF не представлений як звичайний мережевий адаптер у розділі «Мережеві підключення», як показано на малюнку 15. 

Диспетчер пристроїв віртуальної машини
Рисунок 15 - Диспетчер пристроїв гостьової ОС і мережеві підключення
 
ПРИМІТКА. Можливо, доведеться встановити драйвер NIC, щоб увімкнути RDMA в гостьовій операційній системі.
11. Увімкніть RDMA на SMB vNIC. Функція RDMA вже включена на Mellanox VF (Ethernet4 - Малюнок 16 ).

Увімкнено VM RDMA
Рисунок 16 - Включення RDMA на SMB vNIC
 
12. Тестовий гість RDMA. 
HOW16693_en_US__17icon Примітка: Важливо вказати IfIndex (індекс інтерфейсу vNIC) та індекс VfIndex (індекс інтерфейсу Mellanox VF).

Гостьовий тест RDMA VM
Рисунок 17 - Test-RDMA Guest OS
 

5. Командлети Powershell

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

6. Посилання для завантаження


Є зауваження, питання або пропозиції? Будь ласка, зв'яжіться з нами за WinServerBlogs@dell.com
 

Affected Products

Microsoft Windows Server 2019
Article Properties
Article Number: 000113009
Article Type: How To
Last Modified: 13 Aug 2024
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.