如何在 Windows 伺服器上設定客體 RDMA

目錄

1. Remote Direct Memory Access (RDMA) 簡介

2. 實作環境

3. 硬體組態

4. 設定客體 RDMA

5. Powershell Cmdlet

6. 下載連結

---

1. Remote Direct Memory Access (RDMA) 簡介

Remote Direct Memory Access (RDMA) 是一項絕佳的技術，可讓電腦在網路上傳輸資料，而不會涉及相關主機的 CPU 或作業系統資源 (運算/儲存)、改善輸送量和效能、降低延遲和 CPU 額外負荷。

目前有兩種熱門的 RDMA 實作：

RoCE
- 傳輸：UDP/IP (RoCE v2)
- 仰賴 DCB (資料中心橋接)

iWarp
- 基礎網路：TCP/IP
- TCP 提供流量控制和壅塞管理

RoCE 相當依賴 DCB 組態，例如 ETS (增強傳輸服務) 和 PFC (優先順序流量控制)，如果網路交換器未正確設定，可能會成為問題。iWARP 不需要任何交換器組態。

Microsoft 開始在 Windows Server 2012 上支援 RDMA，並在之後的 Windows Server 作業系統中新增新功能。Microsoft 最新作業系統 Windows Server 2019 可用的一項功能是能夠將 RDMA 呈現給客體作業系統 (VM)。這可讓客體與原生主機對網路儲存裝置擁有相同的低延遲存取，進而降低 CPU 額外負荷，並直接在虛擬機器中改善輸送量/效能。

Dell EMC 提供適用於 25Gbps RDMA 的絕佳選項，例如 Cavium QLogic FastLinQ 41262 雙連接埠 25 GbE SFP28 (iWarp/RoCE) 和 Mellanox ConnectX-4 Lx 25Gbps RDMA (RoCE)。此範例使用 Mellanox ConnectX-4 Lx RDMA (RoCEv2 模式) 示範客體 RDMA 功能。

---

2. 實作環境

伺服器：2 個 Dell EMC R7425 (AMD Epyc 7551 32 核心處理器)、256 GB 記憶體、Mellanox ConnectX-4 Lx 已完整更新 (BIOS、韌體、驅動程式和作業系統)
已安裝的角色/功能：Hyper-V、DCB、容錯移轉叢集化、S2D
交換器：Dell EMC S5048F-ON – MGMT VLAN 2、SMB VLAN 15
 

---

3. 硬體組態

1.將伺服器重新開機，然後前往系統設定 (在 POST 期間按下 F2)。

2.選取裝置設定。

圖 1 - BIOS 裝置設定

3.選取插槽 1 連接埠 1 中的 NIC - Mellanox


圖 2 - Mellanox 插槽 1 連接埠 1 裝置設定

4.移至裝置層級組態


圖 3 - 裝置層級組態

5.在虛擬化模式中選取 SR-IOV。


圖 4 - SR-IOV 設定

6.在插槽 1 連接埠 2 中的 NIC 上重複上述步驟 - Mellanox。


圖 5 - Mellanox 插槽 1 連接埠 2 裝置設定

7.返回系統設定主功能表，然後選取系統 BIOS。


圖 6 - 系統 BIOS

8.選取整合式裝置。


圖 7 - BIOS 整合式裝置

9.啟用 SR-IOV 全域啟用選項。


圖 8 - SR-IOV 全域

10.儲存您的組態，然後將伺服器重新開機。
 

---

4. 設定客體 RDMA

1.安裝 Windows Server 2019+
2。安裝 Hyper-V 角色和資料中心橋接 (DCB) 功能。
3.設定 QoS (服務品質)、DCB、PFC、ETS。確定伺服器 NIC 和 QoS 組態符合交換器組態。
4.設定 Hyper-V SET (Switch Embedded Team)。


圖 9 - vSwitch 組態

5.在設定虛擬機器之前，先測試實體伺服器之間的 RDMA 通訊。下載 Microsoft Diskspd 和 Microsoft Test-RDMA PowerShell 指令檔。只有在通訊正常運作時，才能繼續執行下列步驟。否則請檢查主機上的交換器組態及/或 DCB 設定。


圖 10 - Test-Rdma 實體主機

6.確認兩個伺服器上的 RDMA 配接卡是否已啟用 SR-IOV。


圖 11 - SR-IOV 已啟用

7.建立兩個 Gen 2 VM (客體作業系統)，每個伺服器上一個，然後安裝 Windows Server 2019。在這種情況下，客體作業系統會以兩個 vNIC 建立，一個用於 MGMT 流量 (VLAN 2)，一個用於 SMB 流量 (VLAN 15)。


圖 12 - 客體作業系統網路組態主機 R7425-01


圖 13 - 虛擬機器網路組態主機 R7425-02

8.關閉虛擬機器。
9.在客體作業系統上啟用 SR-IOV 和 RDMA。


圖 14：啟用客體作業系統上的 SR-IOV/RDMA

10.啟動虛擬機器，然後開啟裝置管理員。Mellanox 虛擬功能 (VF) 應列在網路配接卡下方。如圖 15 所示，VF 在網路連線中並未顯示為一般網路配接卡。


圖 15 - 客體作業系統裝置管理員和網路連線
  11.在 SMB vNIC 上啟用 RDMA。Mellanox VF (乙太網路 4 - 圖 16) 上已啟用 RDMA 功能。


圖 16 - 啟用 SMB vNIC 上的 RDMA

12.測試客體 RDMA。 

圖 17 - Test-RDMA 客體作業系統
 

---

5. Powershell Cmdlet

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

---

6. 下載連結

• Microsoft test-RDMA 指令檔
• Microsoft Diskspd

有什麼意見、問題或建議嗎？請聯絡我們：WinServerBlogs@dell.com
 

---