Innehållsförteckning
-
-
-
-
-
-
1. Introduktion av RDMA (Remote Direct Memory Access)
RDMA (Remote Direct Memory Access) är en fantastisk teknik som gör det möjligt för datorer att överföra data över nätverket utan att involvera processor- eller OS-resurser från de berörda värdarna (beräkning/lagring), vilket förbättrar dataflödet och prestandan, vilket minskar latensen och CPU-belastningen.
Det finns två populära RDMA-implementeringar idag:
RoCE-transport
: UDP/IP (RoCE v2)
– Förlita dig på DCB (Data Center Bridging)
iWarp
– underliggande nätverk: TCP/IP
- TCP ger flödeskontroll och överbelastningshantering
RoCE är starkt beroende av DCB-konfiguration, t.ex. ETS (Enhanced Transmission Service) och PFC (Priority Flow Control), vilket kan bli ett problem om nätverksswitchar inte är korrekt konfigurerade. iWARP kräver ingen switchkonfiguration.
Microsoft började stödja RDMA på Windows Server 2012 och lade till nya funktioner i de senare Windows Server-operativsystemen. En tillgänglig funktion i Microsofts senaste operativsystem, Windows Server 2019, är möjligheten att presentera RDMA för gästoperativsystemet (VM). Detta ger gästen samma kostnadseffektiva åtkomst till nätverkslagring som en inbyggd värd, vilket minskar processorbelastning och förbättrar genomströmning/prestanda direkt i VM.
Dell EMC erbjuder utmärkta alternativ för RDMA med 25 Gbps överföringshastighet, som Cavium QLogic FastLinQ 41262 Dual Port med 25 GbE SFP28 (iWarp/RoCE) och Mellanox ConnectX-4 Lx med 25 Gbps RDMA (RoCE). I det här exemplet demonstreras gäst-RDMA-funktionen med hjälp av Mellanox ConnectX-4 Lx RDMA (RoCEv2 mode).
Servrar: 2 × Dell EMC R7425 (AMD Epyc 7551 32-kärnig processor), 256 GB minne, Mellanox ConnectX-4 Lx helt uppdaterad (BIOS, fast programvara, drivrutiner och operativsystem)
Roller/funktioner som är installerade: Hyper-V, DCB, redundansklustring, S2D-switch
: Dell EMC S5048F-ON – HANTERING VLAN 2, SMB VLAN 15
Dell EMC rekommenderar att du uppdaterar BIOS, fast programvara, drivrutiner och operativsystem som en del av din schemalagda uppdateringscykel. Uppdateringar av BIOS, fast programvara, drivrutiner och operativsystemet avser att förbättra systemets tillförlitlighet, stabilitet och säkerhet.
1. Starta om servrarna och öppna systemkonfiguration (tryck på F2 under POST).
2. Välj Enhetsinställningar.
Bild 1 – Inställningar för
BIOS-enheter 3. Välj nätverkskortet i kortplats 1 Port 1 – Mellanox
![BIOS-enhetsnivå, Mellanox](https://supportkb.dell.com/img/ka06P000000QC4aQAG/ka06P000000QC4aQAG_sv_2.jpeg)
Bild 2 – Mellanox kortplats 1 Port 1 Enhetsinställningar
4. Gå till konfiguration
![Konfiguration på BIOS-enhetsnivå](https://supportkb.dell.com/img/ka06P000000QC4aQAG/ka06P000000QC4aQAG_sv_3.jpeg)
på enhetsnivå Bild 3 – Konfiguration
på enhetsnivå 5. Välj SR-IOV i virtualiseringsläge.
Bild 4 - SR-IOV-inställning
6. Upprepa stegen ovan på nätverkskortet i kortplats 1, port 2 – Mellanox.
Bild 5 – Mellanox-kortplats 1, port 2, enhetsinställningar
7. Gå tillbaka till huvudmenyn i systeminställningarna och välj System-BIOS.
Bild 6 – System-BIOS
8. Välj Integrerade enheter.
Bild 7 – BIOS-integrerade enheter
9. Aktivera alternativet SR-IOV Global Enable.
Figur 8 - SR-IOV Global
10. Spara konfigurationen och starta om servern.
1. Installera Windows Server 2019+
2. Installera Hyper-V-rollen
och funktionen Data Center Bridging (DCB).3. Konfigurera QoS (Quality-of-Service), DCB, PFC, ETS. Kontrollera att serverns nätverkskort och QoS-konfiguration matchar switchkonfigurationen.
4. Konfigurera Hyper-V SET (Switch Embedded Team).
Bild 9 – vSwitch-konfiguration
5. Testa RDMA-kommunikation mellan de fysiska servrarna innan du konfigurerar VM:arna. Hämta Microsoft Diskspd och Microsoft Test-RDMA PowerShell-skriptet. Fortsätt endast med stegen nedan om kommunikationen inte fungerar korrekt. Kontrollera annars switchkonfigurationen och/eller DCB-inställningarna på värden.
Figur 10 - Test-RDMA fysiska värdar
6. Kontrollera om SR-IOV är aktiverat på RDMA-korten på båda servrarna.
Bild 11 - SR-IOV aktiverad
7. Skapa två andra generationens VM:ar (gäst-OS), en på vardera server och installera sedan Windows Server 2019. I det här scenariot skapas ett gästoperativsystem med två virtuella nätverkskort, ett för MGMT-trafik (VLAN 2) och ett för SMB-trafik (VLAN 15).
Bild 12 – Gästoperativsystemets nätverkskonfigurationsvärd R7425-01
![2 virtuell maskin NetConfig2](https://supportkb.dell.com/img/ka06P000000QC4aQAG/ka06P000000QC4aQAG_sv_13.jpeg)
Bild 13 – Nätverkskonfigurationsvärd för virtuella maskiner R7425-02
8. Stäng av VM:arna.
9. Aktivera SR-IOV och RDMA på gästoperativsystemet.
Bild 14 - Aktivera SR-IOV/RDMA på gästoperativsystem
10. Starta VM:arna och öppna sedan enhetshanteraren. Den virtuella Mellanox-funktionen (VF) bör visas under Nätverkskort. VF visas inte som en vanlig nätverksadapter i nätverksanslutningar, så som visas på bild 15.
Bild 15 – gäst-OS för enhetshanteraren och nätverksanslutningar
Obs! En NIC-drivrutin kan behöva installeras för att aktivera RDMA i gästoperativsystemet.
11. Aktivera RDMA på SMB vNIC. RDMA-funktionen är redan aktiverad på Mellanox VF (Ethernet4 – bild 16).
Bild 16 – Aktivera RDMA på SMB vNIC
12. Testa gäst-RDMA.
![HOW16693_en_US__17icon](https://supportkb.dell.com/img/ka06P000000QC4aQAG/ka06P000000QC4aQAG_sv_17.jpeg)
Obs! Det är viktigt att ange IfIndex (vNIC Interface Index) och VfIndex (Mellanox VF Interface Index).
Bild 17 – Test-RDMA, gäst-OS
#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true
#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx
#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter
#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan
#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100
#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx
#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx
#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx
Har du några kommentarer, frågor eller förslag? Kontakta oss på
WinServerBlogs@dell.com