Så här konfigurerar du gäst-RDMA på Windows Server

Innehållsförteckning

1. Introduktion av RDMA (Remote Direct Memory Access)

2. Laboratoriemiljö

3. Maskinvarukonfiguration

4. Konfigurera gäst-RDMA

5. Powershell Cmdlets

6. Länkar för hämtning

---

1. Introduktion av RDMA (Remote Direct Memory Access)

RDMA (Remote Direct Memory Access) är en fantastisk teknik som gör det möjligt för datorer att överföra data över nätverket utan att involvera processor- eller OS-resurser från de berörda värdarna (beräkning/lagring), vilket förbättrar dataflödet och prestandan, vilket minskar latensen och CPU-belastningen.

Det finns två populära RDMA-implementeringar idag:

RoCE-transport
: UDP/IP (RoCE v2)
– Förlita dig på DCB (Data Center Bridging)

iWarp
– underliggande nätverk: TCP/IP
- TCP ger flödeskontroll och överbelastningshantering

RoCE är starkt beroende av DCB-konfiguration, t.ex. ETS (Enhanced Transmission Service) och PFC (Priority Flow Control), vilket kan bli ett problem om nätverksswitchar inte är korrekt konfigurerade. iWARP kräver ingen switchkonfiguration.

Microsoft började stödja RDMA på Windows Server 2012 och lade till nya funktioner i de senare Windows Server-operativsystemen. En tillgänglig funktion i Microsofts senaste operativsystem, Windows Server 2019, är möjligheten att presentera RDMA för gästoperativsystemet (VM). Detta ger gästen samma kostnadseffektiva åtkomst till nätverkslagring som en inbyggd värd, vilket minskar processorbelastning och förbättrar genomströmning/prestanda direkt i VM.

Dell EMC erbjuder utmärkta alternativ för RDMA med 25 Gbps överföringshastighet, som Cavium QLogic FastLinQ 41262 Dual Port med 25 GbE SFP28 (iWarp/RoCE) och Mellanox ConnectX-4 Lx med 25 Gbps RDMA (RoCE). I det här exemplet demonstreras gäst-RDMA-funktionen med hjälp av Mellanox ConnectX-4 Lx RDMA (RoCEv2 mode).

---

2. Lab-miljö

Servrar: 2 × Dell EMC R7425 (AMD Epyc 7551 32-kärnig processor), 256 GB minne, Mellanox ConnectX-4 Lx helt uppdaterad (BIOS, fast programvara, drivrutiner och operativsystem)
Roller/funktioner som är installerade: Hyper-V, DCB, redundansklustring, S2D-switch
: Dell EMC S5048F-ON – HANTERING VLAN 2, SMB VLAN 15
 

---

3. Maskinvarukonfiguration

1. Starta om servrarna och öppna systemkonfiguration (tryck på F2 under POST).

2. Välj Enhetsinställningar.

Bild 1 – Inställningar för
 
BIOS-enheter 3. Välj nätverkskortet i kortplats 1 Port 1 – Mellanox


Bild 2 – Mellanox kortplats 1 Port 1 Enhetsinställningar

4.  Gå till konfiguration


på enhetsnivå Bild 3 – Konfiguration

på enhetsnivå 5.  Välj SR-IOV i virtualiseringsläge.


Bild 4 - SR-IOV-inställning
 
6. Upprepa stegen ovan på nätverkskortet i kortplats 1, port 2 – Mellanox.


Bild 5 – Mellanox-kortplats 1, port 2, enhetsinställningar
 
7. Gå tillbaka till huvudmenyn i systeminställningarna och välj System-BIOS.


Bild 6 – System-BIOS
 
8. Välj Integrerade enheter.


Bild 7 – BIOS-integrerade enheter
 
9. Aktivera alternativet SR-IOV Global Enable.


Figur 8 - SR-IOV Global
 
10. Spara konfigurationen och starta om servern.
 

---

4. Konfigurera gäst-RDMA

1. Installera Windows Server 2019+
2. Installera Hyper-V-rollen
och funktionen Data Center Bridging (DCB).3. Konfigurera QoS (Quality-of-Service), DCB, PFC, ETS. Kontrollera att serverns nätverkskort och QoS-konfiguration matchar switchkonfigurationen.
4. Konfigurera Hyper-V SET (Switch Embedded Team).


Bild 9 – vSwitch-konfiguration
 
5. Testa RDMA-kommunikation mellan de fysiska servrarna innan du konfigurerar VM:arna. Hämta Microsoft Diskspd och Microsoft Test-RDMA PowerShell-skriptet. Fortsätt endast med stegen nedan om kommunikationen inte fungerar korrekt. Kontrollera annars switchkonfigurationen och/eller DCB-inställningarna på värden.


Figur 10 - Test-RDMA fysiska värdar
 
6. Kontrollera om SR-IOV är aktiverat på RDMA-korten på båda servrarna.


Bild 11 - SR-IOV aktiverad
 
7. Skapa två andra generationens VM:ar (gäst-OS), en på vardera server och installera sedan Windows Server 2019. I det här scenariot skapas ett gästoperativsystem med två virtuella nätverkskort, ett för MGMT-trafik (VLAN 2) och ett för SMB-trafik (VLAN 15).


Bild 12 – Gästoperativsystemets nätverkskonfigurationsvärd R7425-01


Bild 13 – Nätverkskonfigurationsvärd för virtuella maskiner R7425-02

8.  Stäng av VM:arna.
9. Aktivera SR-IOV och RDMA på gästoperativsystemet.


Bild 14 - Aktivera SR-IOV/RDMA på gästoperativsystem
 
10. Starta VM:arna och öppna sedan enhetshanteraren. Den virtuella Mellanox-funktionen (VF) bör visas under Nätverkskort. VF visas inte som en vanlig nätverksadapter i nätverksanslutningar, så som visas på bild 15. 


Bild 15 – gäst-OS för enhetshanteraren och nätverksanslutningar
  11. Aktivera RDMA på SMB vNIC. RDMA-funktionen är redan aktiverad på Mellanox VF (Ethernet4 – bild 16).


Bild 16 – Aktivera RDMA på SMB vNIC
 
12. Testa gäst-RDMA. 

Bild 17 – Test-RDMA, gäst-OS
 

---

5. Powershell Cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

---

6. Ladda ner länkar

• Microsoft test-RDMA-skript
• Microsoft Diskspd

Har du några kommentarer, frågor eller förslag? Kontakta oss på WinServerBlogs@dell.com
 

---