วิธีการกําหนดค่า RDMA สําหรับผู้เยี่ยมชมบน Windows Server 2019

สารบัญ

1. การแนะนําการเข้าถึงหน่วยความจําโดยตรงระยะไกล (RDMA)

2. สภาพแวดล้อมในห้องปฏิบัติการ

3. การกําหนดค่าฮาร์ดแวร์

4. การกําหนดค่า RDMA ของผู้เยี่ยมชม

5. พาวเวอร์เชลล์ Cmdlets

6. ดาวน์โหลดการเชื่อมโยง

---

1.การแนะนําการเข้าถึงหน่วยความจําโดยตรงระยะไกล (RDMA)

Remote Direct Memory Access (RDMA) เป็นเทคโนโลยีที่ยอดเยี่ยมที่ช่วยให้คอมพิวเตอร์สามารถถ่ายโอนข้อมูลผ่านเครือข่ายได้โดยไม่ต้องเกี่ยวข้องกับทรัพยากร CPU หรือระบบปฏิบัติการของโฮสต์ที่เกี่ยวข้อง (Compute / Storage) ปรับปรุงปริมาณงานและประสิทธิภาพลดเวลาแฝงและค่าใช้จ่าย

CPU มีการใช้งาน RDMA ยอดนิยมสองรายการในวันนี้:

Roce
- การขนส่ง: UDP/IP (RoCE v2)
- พึ่งพา DCB (Data Center เชื่อม)

iWarp
- เครือข่ายพื้นฐาน: TCP/IP
- TCP ให้การควบคุมการไหลและการจัดการความแออัด

RoCE อาศัยการกําหนดค่า DCB เป็นอย่างมากเช่น ETS (บริการส่งขั้นสูง) และ PFC (การควบคุมการไหลลําดับความสําคัญ) ซึ่งอาจกลายเป็นปัญหาหากการกําหนดค่าสวิตช์เครือข่ายไม่ถูกต้อง iWARP ไม่จําเป็นต้องมีการกําหนดค่า

สวิตช์ใด ๆ ไมโครซอฟท์เริ่มสนับสนุน RDMA บน Windows Server 2012 และเพิ่มคุณลักษณะใหม่ใน Windows Server OS ในภายหลัง คุณลักษณะหนึ่งที่มีอยู่ในระบบปฏิบัติการใหม่ล่าสุดของ Microsoft คือ Windows Server 2019 คือความสามารถในการนําเสนอ RDMA ต่อระบบปฏิบัติการ Guest OS (VM) สิ่งนี้ช่วยให้แขกสามารถเข้าถึงพื้นที่เก็บข้อมูลเครือข่ายที่มีเวลาแฝงต่ําเช่นเดียวกับโฮสต์ดั้งเดิมลดค่าใช้จ่าย CPU และปรับปรุงปริมาณงาน / ประสิทธิภาพโดยตรงใน VM

Dell EMC มีตัวเลือกที่ยอดเยี่ยมสําหรับ RDMA 25Gbps เช่นคาเวียม QLogic FastLinQ 41262 พอร์ตคู่ 25 GbE SFP28 (iWarp / RoCE) และเมลลาน็อกซ์ ConnectX-4 Lx 25Gbps RDMA (RoCE) ตัวอย่างนี้ใช้ Mellanox ConnectX-4 Lx RDMA (โหมด RoCEv2) เพื่อสาธิตคุณลักษณะ RDMA ของแขก

---

2.สภาพแวดล้อมในห้องปฏิบัติการ

เซิร์ฟเวอร์: 2 x Dell EMC R7425 (โปรเซสเซอร์ Epyc 7551 32-Core), หน่วยความจํา 256GB, Mellanox ConnectX-4 Lx อัปเดตอย่างเต็มที่ (BIOS, เฟิร์มแวร์, ไดรเวอร์และระบบปฏิบัติการ)
บทบาท / คุณสมบัติที่ติดตั้ง: ไฮเปอร์วี, DCB, คลัสเตอร์ล้มเหลว, สวิตช์
S2D: เดลล์ EMC S5048F-ON – เอ็มจีเอ็มที VLAN 2, เอสเอ็มบี VLAN 15
 

---

3.การกําหนดค่าฮาร์ดแวร์

1. รีบูตเซิร์ฟเวอร์และไปที่การตั้งค่าระบบ (กด F2 ระหว่าง POST)

2. เลือกการตั้งค่าอุปกรณ์

รูปที่ 1 - การตั้งค่าอุปกรณ์ BIOS

3 เลือก NIC ในสล็อต 1 พอร์ต 1 - Mellanox


รูปที่ 2 - ช่อง Mellanox 1 พอร์ต 1 การตั้งค่าอุปกรณ์

4. ไปที่การกําหนดค่าระดับอุปกรณ์


รูปที่ 3 - การกําหนดค่าระดับอุปกรณ์

5 เลือก SR-IOV ในโหมด


การจําลองเสมือน รูปที่ 4 - การตั้งค่า SR-IOV

6 ทําซ้ําขั้นตอนข้างต้นบน NIC ในสล็อต 1 พอร์ต 2 - Mellanox


รูปที่ 5 - Mellanox สล็อต 1 พอร์ต 2 การตั้งค่าอุปกรณ์

7. กลับไปที่เมนูหลักของการตั้งค่าระบบ แล้วเลือก 'BIOS ของระบบ'


รูปที่ 6 - BIOS ระบบ

8 เลือก

อุปกรณ์
ในตัว รูปที่ 7 - อุปกรณ์รวม BIOS

9. เปิดใช้งาน

ตัวเลือก
การเปิดใช้งานส่วนกลางของ SR-IOV รูปที่ 8 - SR-IOV โกลบอล

10 บันทึกการกําหนดค่าของคุณและรีบูตเซิร์ฟเวอร์
 

---

4.การกําหนดค่า RDMA ของผู้เยี่ยมชม

1. ติดตั้ง Windows Server 2019
2. ติดตั้งบทบาท Hyper-V และคุณลักษณะ
การเชื่อมโยงศูนย์ข้อมูล (DCB) 3. กําหนดค่า QoS (คุณภาพการบริการ), DCB, PFC, ETS ตรวจสอบให้แน่ใจว่าการกําหนดค่า NIC และ QoS ของเซิร์ฟเวอร์ตรงกับการกําหนดค่า
สวิตช์ 4. กําหนดค่า Hyper-V SET (ทีมแบบฝังสวิตช์)


รูปที่ 9 - vSwitch Configuration

5. ทดสอบการสื่อสาร RDMA ระหว่างเซิร์ฟเวอร์จริงก่อนที่จะกําหนดค่า VMs ดาวน์โหลด Microsoft Diskspd และสคริปต์ PowerShell ทดสอบของ Microsoft ทําตามขั้นตอนด้านล่างเฉพาะเมื่อการสื่อสารทํางานอย่างถูกต้อง มิฉะนั้นให้ตรวจสอบการกําหนดค่าสวิตช์และ / หรือการตั้งค่า DCB บนโฮสต์


รูปที่ 10 - ทดสอบ Rdma โฮสต์ทางกายภาพ

6. ตรวจสอบว่ามีการเปิดใช้งาน SR-IOV ในอะแดปเตอร์ RDMA บนเซิร์ฟเวอร์


ทั้งสอง รูปที่ 11 - เปิดใช้งาน SR-IOV

7 สร้าง Gen 2 VMs (Guest OS) สองตัว ซึ่งหนึ่งตัวในแต่ละเซิร์ฟเวอร์แล้วติดตั้ง Windows Server 2019 ในสถานการณ์สมมตินี้ Guest OS ถูกสร้างขึ้นด้วย vNIC สองตัวหนึ่งตัวสําหรับการรับส่งข้อมูล MGMT (VLAN 2) และอีกตัวหนึ่งสําหรับการรับส่งข้อมูล SMB (VLAN 15)


รูปที่ 12 - โฮสต์การกําหนดค่าเครือข่าย Guest OS R7425-01


รูปที่ 13 - โฮสต์การกําหนดค่าเครือข่ายเครื่องเสมือน R7425-02

8 ปิด VMs
9. เปิดใช้งาน SR-IOV และ RDMA บนระบบปฏิบัติการ


สําหรับแขก รูปที่ 14 - เปิดใช้งาน SR-IOV/RDMA บน OSes สําหรับแขก

10 เริ่ม VMs แล้วเปิด 'ตัวจัดการอุปกรณ์' ฟังก์ชันเสมือน Mellanox (VF) ควรแสดงอยู่ภายใต้อะแดปเตอร์เครือข่าย VF ไม่แสดงเป็นอะแดปเตอร์เครือข่ายปกติในการเชื่อมต่อเครือข่ายตามที่เห็นในรูปที่ 15 


รูปที่ 15 - ตัวจัดการอุปกรณ์ Guest OS และการเชื่อมต่อเครือข่าย
  11. เปิดใช้งาน RDMA บน SMB vNIC ฟังก์ชัน RDMA ถูกเปิดใช้งานบน Mellanox VF แล้ว (Ethernet4 - รูปที่ 16 )


รูปที่ 16 - เปิดใช้งาน RDMA บน SMB vNIC

12 ทดสอบ RDMA ของแขก 

รูปที่ 17 - ระบบปฏิบัติการรับแขก Test-RDMA
 

---

5.พาวเวอร์เชลล์ Cmdlets

#Createสวิตช์เสมือนใหม่พร้อมตัวเลือก SRIOV เปิดใช้งาน
New-VMSwitch -ชื่อ xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -เปิดใช้งาน$trueเครือข่าย VM -EnableIov

$true#Verifyหากเปิดใช้งาน SRIOV บนอะแดปเตอร์ทางกายภาพ
Get-NetAdapterSriov -ชื่อ xxxx

#Getการกําหนดค่าเครือข่าย
VM รับ-VM -ชื่อ xxxx| Get-VMNetworkAdapter

#Getการกําหนดค่า VM network VLAN
Get-VM -ชื่อ | Get-VMNetworkAdapterVlan

#Set VM SRIO และ RDMA บนเครื่องเสมือน (ระบบปฏิบัติการรับแขก) vNIC
Get-VM -ชื่อ xxxx | Set-VMNetworkAdapter -ชื่อ xxx -ไออฟเวต 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100

#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx

#Test-Rdma โฮสต์ทางกายภาพ
\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddres xxx.xxx.xxx.xxx -PathToDiskspd xxxxx

#Test-Rdma Virtual Machine (Guest OS)
\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -รีโมทอิปแอดเดรส xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx
 

---

6.ดาวน์โหลดลิงก์

• Microsoft Diskspd
• สคริปต์ Microsoft Test-RDMA


มีความคิดเห็น คําถาม หรือข้อเสนอแนะหรือไม่ กรุณาติดต่อเราที่ WinServerBlogs@dell.com
 

---