Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

Så här konfigurerar du gäst-RDMA på Windows Server

Summary: Den här artikeln beskriver hur du konfigurerar gäst-RDMA på Windows Server.

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Instructions

Innehållsförteckning

  1. Introduktion av RDMA (Remote Direct Memory Access)

  2. Laboratoriemiljö

  3. Maskinvarukonfiguration

  4. Konfigurera gäst-RDMA

  5. Powershell Cmdlets

  6. Länkar för hämtning


1. Introduktion av RDMA (Remote Direct Memory Access)

RDMA (Remote Direct Memory Access) är en fantastisk teknik som gör det möjligt för datorer att överföra data över nätverket utan att involvera processor- eller OS-resurser från de berörda värdarna (beräkning/lagring), vilket förbättrar dataflödet och prestandan, vilket minskar latensen och CPU-belastningen.

Det finns två populära RDMA-implementeringar idag:

RoCE-transport
: UDP/IP (RoCE v2)
– Förlita dig på DCB (Data Center Bridging)

iWarp
– underliggande nätverk: TCP/IP
- TCP ger flödeskontroll och överbelastningshantering


RoCE är starkt beroende av DCB-konfiguration, t.ex. ETS (Enhanced Transmission Service) och PFC (Priority Flow Control), vilket kan bli ett problem om nätverksswitchar inte är korrekt konfigurerade. iWARP kräver ingen switchkonfiguration.

Microsoft började stödja RDMA på Windows Server 2012 och lade till nya funktioner i de senare Windows Server-operativsystemen. En tillgänglig funktion i Microsofts senaste operativsystem, Windows Server 2019, är möjligheten att presentera RDMA för gästoperativsystemet (VM). Detta ger gästen samma kostnadseffektiva åtkomst till nätverkslagring som en inbyggd värd, vilket minskar processorbelastning och förbättrar genomströmning/prestanda direkt i VM.


Dell EMC erbjuder utmärkta alternativ för RDMA med 25 Gbps överföringshastighet, som Cavium QLogic FastLinQ 41262 Dual Port med 25 GbE SFP28 (iWarp/RoCE) och Mellanox ConnectX-4 Lx med 25 Gbps RDMA (RoCE). I det här exemplet demonstreras gäst-RDMA-funktionen med hjälp av Mellanox ConnectX-4 Lx RDMA (RoCEv2 mode).

2. Lab-miljö

Servrar: 2 × Dell EMC R7425 (AMD Epyc 7551 32-kärnig processor), 256 GB minne, Mellanox ConnectX-4 Lx helt uppdaterad (BIOS, fast programvara, drivrutiner och operativsystem)
Roller/funktioner som är installerade: Hyper-V, DCB, redundansklustring, S2D-switch
: Dell EMC S5048F-ON – HANTERING VLAN 2, SMB VLAN 15
 
Dell EMC rekommenderar att du uppdaterar BIOS, fast programvara, drivrutiner och operativsystem som en del av din schemalagda uppdateringscykel. Uppdateringar av BIOS, fast programvara, drivrutiner och operativsystemet avser att förbättra systemets tillförlitlighet, stabilitet och säkerhet.

3. Maskinvarukonfiguration

1. Starta om servrarna och öppna systemkonfiguration (tryck på F2 under POST).

2. Välj Enhetsinställningar.


Inställningar för BIOS-enhetsnivå
Bild 1 – Inställningar för
 
BIOS-enheter 3. Välj nätverkskortet i kortplats 1 Port 1 – Mellanox


BIOS-enhetsnivå, MellanoxBild 2 – Mellanox kortplats 1 Port 1 Enhetsinställningar

4.  Gå till konfiguration


Konfiguration på BIOS-enhetsnivåpå enhetsnivå Bild 3 – Konfiguration

på enhetsnivå 5.  Välj SR-IOV i virtualiseringsläge.

SR-IOV på BIOS-enhetsnivå
Bild 4 - SR-IOV-inställning
 
6. Upprepa stegen ovan på nätverkskortet i kortplats 1, port 2 – Mellanox.

BIOS-enhetsnivå Mellanox2
Bild 5 – Mellanox-kortplats 1, port 2, enhetsinställningar
 
7. Gå tillbaka till huvudmenyn i systeminställningarna och välj System-BIOS.

System-BIOS
Bild 6 – System-BIOS
 
8. Välj Integrerade enheter.

Integrerade enheter
Bild 7 – BIOS-integrerade enheter
 
9. Aktivera alternativet SR-IOV Global Enable.

SR-IOV Global aktivera
Figur 8 - SR-IOV Global
 
10. Spara konfigurationen och starta om servern.
 

4. Konfigurera gäst-RDMA


1. Installera Windows Server 2019+
2. Installera Hyper-V-rollen
och funktionen Data Center Bridging (DCB).3. Konfigurera QoS (Quality-of-Service), DCB, PFC, ETS. Kontrollera att serverns nätverkskort och QoS-konfiguration matchar switchkonfigurationen.
4. Konfigurera Hyper-V SET (Switch Embedded Team).

Aktivera Hyper-V-switch
Bild 9 – vSwitch-konfiguration
 
5. Testa RDMA-kommunikation mellan de fysiska servrarna innan du konfigurerar VM:arna. Hämta Microsoft Diskspd och Microsoft Test-RDMA PowerShell-skriptet. Fortsätt endast med stegen nedan om kommunikationen inte fungerar korrekt. Kontrollera annars switchkonfigurationen och/eller DCB-inställningarna på värden.

Testa RDMA1-kommunikation
Figur 10 - Test-RDMA fysiska värdar
 
6. Kontrollera om SR-IOV är aktiverat på RDMA-korten på båda servrarna.

Kontrollera att SR-IOV är aktiverat
Bild 11 - SR-IOV aktiverad
 
7. Skapa två andra generationens VM:ar (gäst-OS), en på vardera server och installera sedan Windows Server 2019. I det här scenariot skapas ett gästoperativsystem med två virtuella nätverkskort, ett för MGMT-trafik (VLAN 2) och ett för SMB-trafik (VLAN 15).

Skapa NetConfig för två virtuella datorer
Bild 12 – Gästoperativsystemets nätverkskonfigurationsvärd R7425-01


2 virtuell maskin NetConfig2Bild 13 – Nätverkskonfigurationsvärd för virtuella maskiner R7425-02

8.  Stäng av VM:arna.
9. Aktivera SR-IOV och RDMA på gästoperativsystemet.

Aktivera SR-IOV och RDMA Guest
Bild 14 - Aktivera SR-IOV/RDMA på gästoperativsystem
 
10. Starta VM:arna och öppna sedan enhetshanteraren. Den virtuella Mellanox-funktionen (VF) bör visas under Nätverkskort. VF visas inte som en vanlig nätverksadapter i nätverksanslutningar, så som visas på bild 15. 

Enhetshanteraren för virtuella maskiner
Bild 15 – gäst-OS för enhetshanteraren och nätverksanslutningar
 
Obs! En NIC-drivrutin kan behöva installeras för att aktivera RDMA i gästoperativsystemet.
11. Aktivera RDMA på SMB vNIC. RDMA-funktionen är redan aktiverad på Mellanox VF (Ethernet4 – bild 16).

RDMA aktiverad för virtuell dator
Bild 16 – Aktivera RDMA på SMB vNIC
 
12. Testa gäst-RDMA. 
HOW16693_en_US__17icon Obs! Det är viktigt att ange IfIndex (vNIC Interface Index) och VfIndex (Mellanox VF Interface Index).

Testa en virtuell RDMA-gästdator
Bild 17 – Test-RDMA, gäst-OS
 

5. Powershell Cmdlets

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

6. Ladda ner länkar


Har du några kommentarer, frågor eller förslag? Kontakta oss på WinServerBlogs@dell.com
 

Affected Products

Microsoft Windows Server 2019
Article Properties
Article Number: 000113009
Article Type: How To
Last Modified: 13 Aug 2024
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.