Skip to main content
  • Place orders quickly and easily
  • View orders and track your shipping status
  • Create and access a list of your products

如何在 Windows 伺服器上設定客體 RDMA

Summary: 本文說明如何在 Windows Server 上設定客體 RDMA。

This article applies to This article does not apply to This article is not tied to any specific product. Not all product versions are identified in this article.

Instructions

目錄

  1. Remote Direct Memory Access (RDMA) 簡介

  2. 實作環境

  3. 硬體組態

  4. 設定客體 RDMA

  5. Powershell Cmdlet

  6. 下載連結


1. Remote Direct Memory Access (RDMA) 簡介

Remote Direct Memory Access (RDMA) 是一項絕佳的技術,可讓電腦在網路上傳輸資料,而不會涉及相關主機的 CPU 或作業系統資源 (運算/儲存)、改善輸送量和效能、降低延遲和 CPU 額外負荷。

目前有兩種熱門的 RDMA 實作:

RoCE
- 傳輸:UDP/IP (RoCE v2)
- 仰賴 DCB (資料中心橋接)

iWarp
- 基礎網路:TCP/IP
- TCP 提供流量控制和壅塞管理


RoCE 相當依賴 DCB 組態,例如 ETS (增強傳輸服務) 和 PFC (優先順序流量控制),如果網路交換器未正確設定,可能會成為問題。iWARP 不需要任何交換器組態。

Microsoft 開始在 Windows Server 2012 上支援 RDMA,並在之後的 Windows Server 作業系統中新增新功能。Microsoft 最新作業系統 Windows Server 2019 可用的一項功能是能夠將 RDMA 呈現給客體作業系統 (VM)。這可讓客體與原生主機對網路儲存裝置擁有相同的低延遲存取,進而降低 CPU 額外負荷,並直接在虛擬機器中改善輸送量/效能。


Dell EMC 提供適用於 25Gbps RDMA 的絕佳選項,例如 Cavium QLogic FastLinQ 41262 雙連接埠 25 GbE SFP28 (iWarp/RoCE) 和 Mellanox ConnectX-4 Lx 25Gbps RDMA (RoCE)。此範例使用 Mellanox ConnectX-4 Lx RDMA (RoCEv2 模式) 示範客體 RDMA 功能。

2. 實作環境

伺服器:2 個 Dell EMC R7425 (AMD Epyc 7551 32 核心處理器)、256 GB 記憶體、Mellanox ConnectX-4 Lx 已完整更新 (BIOS、韌體、驅動程式和作業系統)
已安裝的角色/功能:Hyper-V、DCB、容錯移轉叢集化、S2D
交換器:Dell EMC S5048F-ON – MGMT VLAN 2、SMB VLAN 15
 
Dell EMC 建議將更新 BIOS、韌體、驅動程式和作業系統加入至排程更新週期。BIOS、韌體、驅動程式和作業系統更新旨在改善系統的可靠性、穩定性和安全性。

3. 硬體組態

1.將伺服器重新開機,然後前往系統設定 (在 POST 期間按下 F2)。

2.選取裝置設定


BIOS 裝置層級設定
圖 1 - BIOS 裝置設定

3.選取插槽 1 連接埠 1 中的 NIC - Mellanox

BIOS 裝置層級 Mellanox
圖 2 - Mellanox 插槽 1 連接埠 1 裝置設定

4.移至裝置層級組態

BIOS 裝置層級組態
圖 3 - 裝置層級組態

5.在虛擬化模式中選取 SR-IOV。

BIOS 裝置層級 SR-IOV
圖 4 - SR-IOV 設定

6.在插槽 1 連接埠 2 中的 NIC 上重複上述步驟 - Mellanox。

BIOS 裝置層級 Mellanox2
圖 5 - Mellanox 插槽 1 連接埠 2 裝置設定

7.返回系統設定主功能表,然後選取系統 BIOS。

系統簡介
圖 6 - 系統 BIOS

8.選取整合式裝置。

整合式裝置
圖 7 - BIOS 整合式裝置

9.啟用 SR-IOV 全域啟用選項。

SR-IOV 全域啟用
圖 8 - SR-IOV 全域

10.儲存您的組態,然後將伺服器重新開機。
 

4. 設定客體 RDMA


1.安裝 Windows Server 2019+
2。安裝 Hyper-V 角色和資料中心橋接 (DCB) 功能。
3.設定 QoS (服務品質)、DCB、PFC、ETS。確定伺服器 NIC 和 QoS 組態符合交換器組態。
4.設定 Hyper-V SET (Switch Embedded Team)。

啟用 Hyper-V 交換器
圖 9 - vSwitch 組態

5.在設定虛擬機器之前,先測試實體伺服器之間的 RDMA 通訊。下載 Microsoft Diskspd 和 Microsoft Test-RDMA PowerShell 指令檔。只有在通訊正常運作時,才能繼續執行下列步驟。否則請檢查主機上的交換器組態及/或 DCB 設定。

測試 RDMA1 通訊
圖 10 - Test-Rdma 實體主機

6.確認兩個伺服器上的 RDMA 配接卡是否已啟用 SR-IOV。

確認 SR-IOV 已啟用
圖 11 - SR-IOV 已啟用

7.建立兩個 Gen 2 VM (客體作業系統),每個伺服器上一個,然後安裝 Windows Server 2019。在這種情況下,客體作業系統會以兩個 vNIC 建立,一個用於 MGMT 流量 (VLAN 2),一個用於 SMB 流量 (VLAN 15)。

建立 2 個 VM NetConfig
圖 12 - 客體作業系統網路組態主機 R7425-01

2 個 VM NetConfig2
圖 13 - 虛擬機器網路組態主機 R7425-02

8.關閉虛擬機器。
9.在客體作業系統上啟用 SR-IOV 和 RDMA。

啟用 SR-IOV 和 RDMA 客體
圖 14:啟用客體作業系統上的 SR-IOV/RDMA

10.啟動虛擬機器,然後開啟裝置管理員。Mellanox 虛擬功能 (VF) 應列在網路配接卡下方。如圖 15 所示,VF 在網路連線中並未顯示為一般網路配接卡。

VM 裝置管理員
圖 15 - 客體作業系統裝置管理員和網路連線
 
注意:可能需要安裝 NIC 驅動程式,才能在客體作業系統中啟用 RDMA。
11.在 SMB vNIC 上啟用 RDMA。Mellanox VF (乙太網路 4 - 圖 16) 上已啟用 RDMA 功能。

VM RDMA 已啟用
圖 16 - 啟用 SMB vNIC 上的 RDMA

12.測試客體 RDMA。 
HOW16693_en_US__17icon備註:請務必指定 IfIndex (vNIC 介面索引) 和 VfIndex (Mellanox VF 介面索引)。

測試客體 RDMA VM
圖 17 - Test-RDMA 客體作業系統
 

5. Powershell Cmdlet

#Create new virtual switch with SRIOV option enabled
New-VMSwitch -Name xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -EnableEmbeddedTeaming $true -EnableIov $true

#Verify if SRIOV is enabled on physical adapter
Get-NetAdapterSriov -Name xxxx

#Get VM network configuration
Get-VM -Name xxxx| Get-VMNetworkAdapter

#Get VM network VLAN configuration
Get-VM -Name | Get-VMNetworkAdapterVlan

#Set VM SRIO and RDMA on Virtual Machine(Guest OS) vNIC
Get-VM -Name xxxx | Set-VMNetworkAdapter -Name xxx -IovWeight 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma Physical Host
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
.\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddress xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx

6. 下載連結


有什麼意見、問題或建議嗎?請聯絡我們:WinServerBlogs@dell.com
 

Affected Products

Microsoft Windows Server 2019
Article Properties
Article Number: 000113009
Article Type: How To
Last Modified: 13 Aug 2024
Version:  9
Find answers to your questions from other Dell users
Support Services
Check if your device is covered by Support Services.