สารบัญ
-
-
-
-
-
-
1.การแนะนําการเข้าถึงหน่วยความจําโดยตรงระยะไกล (RDMA)
Remote Direct Memory Access (RDMA) เป็นเทคโนโลยีที่ยอดเยี่ยมที่ช่วยให้คอมพิวเตอร์สามารถถ่ายโอนข้อมูลผ่านเครือข่ายได้โดยไม่ต้องเกี่ยวข้องกับทรัพยากร CPU หรือระบบปฏิบัติการของโฮสต์ที่เกี่ยวข้อง (Compute / Storage) ปรับปรุงปริมาณงานและประสิทธิภาพลดเวลาแฝงและค่าใช้จ่าย
CPU มีการใช้งาน RDMA ยอดนิยมสองรายการในวันนี้:
Roce
- การขนส่ง: UDP/IP (RoCE v2)
- พึ่งพา DCB (Data Center เชื่อม)
iWarp
- เครือข่ายพื้นฐาน: TCP/IP
- TCP ให้การควบคุมการไหลและการจัดการความแออัด
RoCE อาศัยการกําหนดค่า DCB เป็นอย่างมากเช่น ETS (บริการส่งขั้นสูง) และ PFC (การควบคุมการไหลลําดับความสําคัญ) ซึ่งอาจกลายเป็นปัญหาหากการกําหนดค่าสวิตช์เครือข่ายไม่ถูกต้อง iWARP ไม่จําเป็นต้องมีการกําหนดค่า
สวิตช์ใด ๆ ไมโครซอฟท์เริ่มสนับสนุน RDMA บน Windows Server 2012 และเพิ่มคุณลักษณะใหม่ใน Windows Server OS ในภายหลัง คุณลักษณะหนึ่งที่มีอยู่ในระบบปฏิบัติการใหม่ล่าสุดของ Microsoft คือ Windows Server 2019 คือความสามารถในการนําเสนอ RDMA ต่อระบบปฏิบัติการ Guest OS (VM) สิ่งนี้ช่วยให้แขกสามารถเข้าถึงพื้นที่เก็บข้อมูลเครือข่ายที่มีเวลาแฝงต่ําเช่นเดียวกับโฮสต์ดั้งเดิมลดค่าใช้จ่าย CPU และปรับปรุงปริมาณงาน / ประสิทธิภาพโดยตรงใน VM
Dell EMC มีตัวเลือกที่ยอดเยี่ยมสําหรับ RDMA 25Gbps เช่นคาเวียม QLogic FastLinQ 41262 พอร์ตคู่ 25 GbE SFP28 (iWarp / RoCE) และเมลลาน็อกซ์ ConnectX-4 Lx 25Gbps RDMA (RoCE) ตัวอย่างนี้ใช้ Mellanox ConnectX-4 Lx RDMA (โหมด RoCEv2) เพื่อสาธิตคุณลักษณะ RDMA ของแขก
เซิร์ฟเวอร์: 2 x Dell EMC R7425 (โปรเซสเซอร์ Epyc 7551 32-Core), หน่วยความจํา 256GB, Mellanox ConnectX-4 Lx อัปเดตอย่างเต็มที่ (BIOS, เฟิร์มแวร์, ไดรเวอร์และระบบปฏิบัติการ)
บทบาท / คุณสมบัติที่ติดตั้ง: ไฮเปอร์วี, DCB, คลัสเตอร์ล้มเหลว, สวิตช์
S2D: เดลล์ EMC S5048F-ON – เอ็มจีเอ็มที VLAN 2, เอสเอ็มบี VLAN 15
Dell EMC แนะนําให้อัปเดต BIOS เฟิร์มแวร์ ไดรเวอร์ และระบบปฏิบัติการซึ่งเป็นส่วนหนึ่งของรอบการอัปเดตตามกําหนดการของคุณ การอัปเดต BIOS เฟิร์มแวร์ไดรเวอร์และระบบปฏิบัติการมีวัตถุประสงค์เพื่อปรับปรุงความน่าเชื่อถือเสถียรภาพและความปลอดภัยของระบบของคุณ
1. รีบูตเซิร์ฟเวอร์และไปที่การตั้งค่าระบบ (กด F2 ระหว่าง POST)
2. เลือกการตั้งค่าอุปกรณ์
รูปที่ 1 - การตั้งค่าอุปกรณ์ BIOS
3 เลือก NIC ในสล็อต 1 พอร์ต 1 - Mellanox
รูปที่ 2 - ช่อง Mellanox 1 พอร์ต 1 การตั้งค่าอุปกรณ์
4. ไปที่การกําหนดค่าระดับอุปกรณ์
รูปที่ 3 - การกําหนดค่าระดับอุปกรณ์
5 เลือก SR-IOV ในโหมด
การจําลองเสมือน รูปที่ 4 - การตั้งค่า SR-IOV
6 ทําซ้ําขั้นตอนข้างต้นบน NIC ในสล็อต 1 พอร์ต 2 - Mellanox
รูปที่ 5 - Mellanox สล็อต 1 พอร์ต 2 การตั้งค่าอุปกรณ์
7. กลับไปที่เมนูหลักของการตั้งค่าระบบ แล้วเลือก 'BIOS ของระบบ'
รูปที่ 6 - BIOS ระบบ
8 เลือก
![HOW16693_en_US__7Fig7 - IntegratedDev](https://supportkb.dell.com/img/ka06P000000QC59QAG/ka06P000000QC59QAG_th_7.jpeg)
อุปกรณ์
ในตัว รูปที่ 7 - อุปกรณ์รวม BIOS
9. เปิดใช้งาน
![HOW16693_en_US__8Fig8 - สริออฟโกลบัล](https://supportkb.dell.com/img/ka06P000000QC59QAG/ka06P000000QC59QAG_th_8.jpeg)
ตัวเลือก
การเปิดใช้งานส่วนกลางของ SR-IOV รูปที่ 8 - SR-IOV โกลบอล
10 บันทึกการกําหนดค่าของคุณและรีบูตเซิร์ฟเวอร์
1. ติดตั้ง Windows Server 2019
2. ติดตั้งบทบาท Hyper-V และคุณลักษณะ
การเชื่อมโยงศูนย์ข้อมูล (DCB) 3. กําหนดค่า QoS (คุณภาพการบริการ), DCB, PFC, ETS ตรวจสอบให้แน่ใจว่าการกําหนดค่า NIC และ QoS ของเซิร์ฟเวอร์ตรงกับการกําหนดค่า
สวิตช์ 4. กําหนดค่า Hyper-V SET (ทีมแบบฝังสวิตช์)
รูปที่ 9 - vSwitch Configuration
5. ทดสอบการสื่อสาร RDMA ระหว่างเซิร์ฟเวอร์จริงก่อนที่จะกําหนดค่า VMs ดาวน์โหลด Microsoft Diskspd และสคริปต์ PowerShell ทดสอบของ Microsoft ทําตามขั้นตอนด้านล่างเฉพาะเมื่อการสื่อสารทํางานอย่างถูกต้อง มิฉะนั้นให้ตรวจสอบการกําหนดค่าสวิตช์และ / หรือการตั้งค่า DCB บนโฮสต์
รูปที่ 10 - ทดสอบ Rdma โฮสต์ทางกายภาพ
6. ตรวจสอบว่ามีการเปิดใช้งาน SR-IOV ในอะแดปเตอร์ RDMA บนเซิร์ฟเวอร์
ทั้งสอง รูปที่ 11 - เปิดใช้งาน SR-IOV
7 สร้าง Gen 2 VMs (Guest OS) สองตัว ซึ่งหนึ่งตัวในแต่ละเซิร์ฟเวอร์แล้วติดตั้ง Windows Server 2019 ในสถานการณ์สมมตินี้ Guest OS ถูกสร้างขึ้นด้วย vNIC สองตัวหนึ่งตัวสําหรับการรับส่งข้อมูล MGMT (VLAN 2) และอีกตัวหนึ่งสําหรับการรับส่งข้อมูล SMB (VLAN 15)
รูปที่ 12 - โฮสต์การกําหนดค่าเครือข่าย Guest OS R7425-01
รูปที่ 13 - โฮสต์การกําหนดค่าเครือข่ายเครื่องเสมือน R7425-02
8 ปิด VMs
9. เปิดใช้งาน SR-IOV และ RDMA บนระบบปฏิบัติการ
สําหรับแขก รูปที่ 14 - เปิดใช้งาน SR-IOV/RDMA บน OSes สําหรับแขก
10 เริ่ม VMs แล้วเปิด 'ตัวจัดการอุปกรณ์' ฟังก์ชันเสมือน Mellanox (VF) ควรแสดงอยู่ภายใต้อะแดปเตอร์เครือข่าย VF ไม่แสดงเป็นอะแดปเตอร์เครือข่ายปกติในการเชื่อมต่อเครือข่ายตามที่เห็นในรูปที่ 15
รูปที่ 15 - ตัวจัดการอุปกรณ์ Guest OS และการเชื่อมต่อเครือข่าย
หมายเหตุ: อาจต้องติดตั้งโปรแกรมควบคุม NIC เพื่อเปิดใช้งาน RDMA ในระบบปฏิบัติการ Guest
11. เปิดใช้งาน RDMA บน SMB vNIC ฟังก์ชัน RDMA ถูกเปิดใช้งานบน Mellanox VF แล้ว (Ethernet4 - รูปที่ 16 )
รูปที่ 16 - เปิดใช้งาน RDMA บน SMB vNIC
12 ทดสอบ RDMA ของแขก
![HOW16693_en_US__17icon](https://supportkb.dell.com/img/ka06P000000QC59QAG/ka06P000000QC59QAG_th_17.jpeg)
โน้ต: ต้องระบุ IfIndex (ดัชนีอินเทอร์เฟซ vNIC) และ VfIndex (ดัชนีอินเทอร์เฟซ Mellanox VF) เป็นสิ่งสําคัญ
รูปที่ 17 - ระบบปฏิบัติการรับแขก Test-RDMA
#Createสวิตช์เสมือนใหม่พร้อมตัวเลือก SRIOV เปิดใช้งาน
New-VMSwitch -ชื่อ xxxx -NetadapterName xxxx,xxxx -AllowManagementOS $true -เปิดใช้งาน$trueเครือข่าย VM -EnableIov
$true#Verifyหากเปิดใช้งาน SRIOV บนอะแดปเตอร์ทางกายภาพ
Get-NetAdapterSriov -ชื่อ xxxx
#Getการกําหนดค่าเครือข่าย
VM รับ-VM -ชื่อ xxxx| Get-VMNetworkAdapter
#Getการกําหนดค่า VM network VLAN
Get-VM -ชื่อ | Get-VMNetworkAdapterVlan
#Set VM SRIO และ RDMA บนเครื่องเสมือน (ระบบปฏิบัติการรับแขก) vNIC
Get-VM -ชื่อ xxxx | Set-VMNetworkAdapter -ชื่อ xxx -ไออฟเวต 100 -IoVQueuePairsRequested 2
Get-VM -Name xxxx | Set-VMNetworkAdapterRdma -Name xxx -RdmaWeight 100
#Enable RDMA on NetAdapter
Enable-NetAdapterRdma -Name xxxx
#Test-Rdma โฮสต์ทางกายภาพ
\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -RemoteIpAddres xxx.xxx.xxx.xxx -PathToDiskspd xxxxx
#Test-Rdma Virtual Machine (Guest OS)
\Test-Rdma.ps1 -IfIndex xx -IsRoCE $true -รีโมทอิปแอดเดรส xxx.xxx.xxx.xxx -PathToDiskspd xxxxx -VfIndex xx
•
Microsoft Diskspd
• สคริปต์ Microsoft
Test-RDMA
มีความคิดเห็น คําถาม หรือข้อเสนอแนะหรือไม่ กรุณาติดต่อเราที่
WinServerBlogs@dell.com