Як налаштувати гостьову RDMA на Windows Server

Зміст

1. Впровадження віддаленого прямого доступу до пам'яті (RDMA)

2. Лабораторне середовище

3. Конфігурація обладнання

4. Налаштування гостьової RDMA

5. Командлети Powershell

6. Посилання для скачування

---

1. Впровадження віддаленого прямого доступу до пам'яті (RDMA)

Віддалений прямий доступ до пам'яті (RDMA) — це чудова технологія, яка дозволяє комп'ютерам передавати дані через мережу без залучення ресурсів центрального процесора або ОС задіяних хостів (обчислення/сховище), покращуючи пропускну здатність і продуктивність, зменшуючи затримку та накладні витрати на процесор.

На сьогоднішній день існує дві популярні реалізації RDMA:

RoCE
- Транспорт: UDP/IP (RoCE v2)
- покладається на DCB (Data Center Bridging)

iWarp
- базова мережа: TCP/IP
- TCP забезпечує контроль потоку та управління перевантаженнями

RoCE значною мірою покладається на конфігурацію DCB, таку як ETS (Enhanced Transmission Service) і PFC (Priority Flow Control), які можуть стати проблемою, якщо мережеві комутатори не налаштовані належним чином. iWARP не вимагає конфігурації перемикача.

Корпорація Майкрософт почала підтримувати RDMA на Windows Server 2012 і додала нові функції в пізніші ОС Windows Server. Однією з функцій, доступних у найновішій ОС Microsoft, Windows Server 2019, є можливість представляти RDMA гостьовій ОС (VM). Це дозволяє гостю мати такий самий доступ до мережевого сховища з низькою затримкою, як і власний хост, зменшуючи навантаження на процесор і покращуючи пропускну здатність/продуктивність безпосередньо у віртуальній машині.

Dell EMC пропонує чудові варіанти для RDMA зі швидкістю 25 Гбіт/с, такі як Cavium QLogic FastLinQ 41262 Dual Port 25 GbE SFP28 (iWarp/RoCE) та Mellanox ConnectX-4 Lx 25Gbps RDMA (RoCE). У цьому прикладі використовується Mellanox ConnectX-4 Lx RDMA (режим RoCEv2) для демонстрації функції Guest RDMA.

---

2. Лабораторне середовище

Серверів: 2 x Dell EMC R7425 (32-ядерний процесор AMD Epyc 7551), 256 ГБ пам'яті, Mellanox ConnectX-4 Lx повністю оновлений (BIOS, прошивка, драйвери та ОС)
Ролі/Встановлені функції: Hyper-V, DCB, відмовостійкі кластеризації, S2D
перемикання: Dell EMC S5048F-ON – MGMT VLAN 2, SMB VLAN 15
 

---

3. Конфігурація обладнання

1. Перезавантажте сервери та перейдіть до налаштування системи (натисніть F2 під час POST).

2. Виберіть Налаштування пристрою.

Малюнок 1 - Налаштування
 
пристрою BIOS 3. Виберіть NIC у слоті 1 порт 1 - Mellanox


Малюнок 2 - Слот Mellanox 1 порт 1 Налаштування

пристрою 4.  Перейдіть до конфігурації на рівні пристрою Малюнок 3 - Конфігурація




рівня пристрою 5.  Виберіть SR-IOV у режимі віртуалізації.


Рисунок 4 - Налаштування
 
SR-IOV 6. Повторіть описані вище кроки на NIC у слоті 1 порту 2 - Mellanox.


Малюнок 5 - Слот Mellanox 1 порт 2 Налаштування
 
пристрою 7. Поверніться до головного меню «Налаштування системи», а потім виберіть «Системний BIOS».


Рисунок 6 - Система BIOS
 
8. Виберіть Інтегровані пристрої.


Малюнок 7 - Інтегровані в BIOS пристрої
 
9. Увімкніть опцію SR-IOV Global Enable.


Рисунок 8 - SR-IOV Global
 
10. Збережіть конфігурацію та перезавантажте сервер.
 

---

4. Налаштування гостьової RDMA

1. Інсталюйте Windows Server 2019+
2. Інсталюйте роль Hyper-V і функцію мосту центрів обробки даних (DCB).
3. Налаштування QoS (Quality-of-Service), DCB, PFC, ETS. Переконайтеся, що NIC і конфігурація QoS сервера збігаються з конфігурацією комутатора.
4. Налаштуйте Hyper-V SET (Switch Embedded Team).


Рисунок 9 - Конфігурація
 
vSwitch 5. Перевірте зв'язок RDMA між фізичними серверами перед налаштуванням віртуальних машин. Завантажте Microsoft Diskspd і скрипт Microsoft Test-RDMA PowerShell. Продовжуйте виконувати наведені нижче кроки, лише якщо зв'язок працює належним чином. В іншому випадку перевірте конфігурацію перемикача та/або налаштування DCB на хості.


Рисунок 10 - Тест-РДМА Фізичні господарі
 
6. Перевірте, чи ввімкнено SR-IOV на адаптерах RDMA на обох серверах.


Рисунок 11 - Увімкнено
 
SR-IOV 7. Створіть дві віртуальні машини (гостьові ОС) 2-го покоління, по одній на кожному сервері, а потім інсталюйте Windows Server 2019. У цьому сценарії створюється гостьова ОС із двома vNIC, один для трафіку MGMT (VLAN 2) і один для трафіку SMB (VLAN 15).


Рисунок 12 - Хост конфігурації мережі гостьової ОС R7425-01


, рисунок 13 - Вузол конфігурації мережі віртуальної машини R7425-02

8.  Вимкніть віртуальні машини.
9. Увімкніть SR-IOV і RDMA на гостьовій ОС.


Рисунок 14 - Увімкніть SR-IOV/RDMA на гостьових ОС
 
10. Запустіть віртуальні машини, а потім відкрийте диспетчер пристроїв. Віртуальна функція Mellanox (VF) має бути вказана в розділі «Мережеві адаптери». VF не представлений як звичайний мережевий адаптер у розділі «Мережеві підключення», як показано на малюнку 15. 


Рисунок 15 - Диспетчер пристроїв гостьової ОС і мережеві підключення
  11. Увімкніть RDMA на SMB vNIC. Функція RDMA вже включена на Mellanox VF (Ethernet4 - Малюнок 16 ).


Рисунок 16 - Включення RDMA на SMB vNIC
 
12. Тестовий гість RDMA. 

Рисунок 17 - Test-RDMA Guest OS
 

---

5. Командлети Powershell

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

---

6. Посилання для завантаження

• Скрипт Microsoft Test-RDMA
• Microsoft Diskspd

Є зауваження, питання або пропозиції? Будь ласка, зв'яжіться з нами за WinServerBlogs@dell.com
 

---