PowerEdge: PCI-passthrough "Modul 'DevicePowerOn' power on failed", når du bruger GPU'er med virtuelle maskiner på vSphere

Sagsbehandling

Din værts-BIOS skal være konfigureret korrekt for at aktivere Nvidia GPU til passthrough, og den virtuelle maskine, der er bestemt til at køre disse accelererede workloads, skal opfylde specifikke krav. I dette afsnit beskrives alle disse krav.

Hvilke enheder?

Denne artikel er kun relevant, hvis din PCI-enhed kortlægger hukommelsesområder, hvis samlede størrelser er mere end 16 GB. Følg den 1010789 udgivne instruktioner til VMware KB for at aktivere passthrough-enheder under vSphere. Som regel er kort, der kræver mere end 16 GB hukommelsestilknytning, avancerede kort. Du skal følge instruktionerne i denne artikel for at aktivere dem til brug i passthrough-tilstand på en virtuel maskine.
 

Værts-BIOS

Din værts-BIOS skal være konfigureret til at understøtte de store hukommelsesområder, der kræves af disse avancerede PCI-enheder. For at aktivere dette skal du finde værts-BIOS-indstillingen for "hukommelseskortlagt I/O over 4 GB" og aktivere den.

Gæst OS 

Bemærk: Disse indstillinger er kun nødvendige, hvis din BIOS-starttilstand er indstillet til UEFI, hvis dens Legacy- eller BIOS-tilstand kan du ignorere nedenstående.

For at få adgang til disse store hukommelsestilknytninger skal du oprette forbindelse til VMware-webstedet. Gæsteoperativsystemet skal starte med EFI. Det betyder, at du skal aktivere EFI i VM'en og derefter foretage en EFI-installation af gæsteoperativsystemet.
 

Redigering af PCI-enhedens tilgængelighed på værtsserveren

En installeret PCI-kompatibel GPU-hardwareenhed genkendes oprindeligt af vSphere-hypervisoren ved serveropstart uden at have nogen specifikke drivere, der er installeret i hypervisoren.

vSphere genkender alle PCI-enheder på denne måde. Du kan se listen over PCI-enheder, der findes i vSphere Client-værktøjet, ved at vælge den værtsserver, du arbejder på, og følge menuindstillingerne."

Konfigurer" > "Hardware", > "PCI-enheder", > "Rediger" for at se listen, som vist i et eksempel i figur 2 nedenfor.

Hvis den pågældende GPU-enhed ikke tidligere har været aktiveret til DirectPath I/O, kan du placere GPU-enheden i Direct Path I/O-tilstand (passthrough) ved at klikke på afkrydsningsfeltet på enhedsposten som vist i eksemplet med NVIDIA-enheder.

Aktivering af avancerede enheder i VM-fil

Når ovenstående krav er opfyldt, skal der føjes to poster til VM'ens VMX-fil, enten ved at ændre filen direkte eller ved at bruge vSphere-klienten til at tilføje disse funktioner. Den første post er:

Angivelse af den anden post kræver en simpel beregning. Sum GPU-hukommelsesstørrelserne for alle GPU-enheder (*), som du ønsker at overføre til VM'en, og runder derefter op til den næste effekt af to. Hvis du f.eks. vil bruge passthrough med 4 16 GB A2-enheder, vil værdien være: 32 + 32 = 64, rundet op til næste potens på to for at give 128. Brug denne værdi i den anden post:

Med disse to ændringer af VMX-filen skal du følge VMware KB 1010789 vSphere-standardinstruktionerne for aktivering af passthrough-enheder på værtsniveau og for at angive, hvilke enheder der skal overføres til din VM. VM'en bør nu starte korrekt med din enhed i passthrough-tilstand.
 

Aktivering af avancerede enheder i brugergrænsefladen

I vSphere-klienten igen skal du vælge den virtuelle maskine og bruge indstillingerne."

Rediger indstillinger > VM Options >Advanced > Configuration Parameters > Edit Configuration" for at få vist listen over PCI-relaterede indstillinger nedenfor.

Vi beregner værdien af parameteren "64bitMMIOSizeGB" ved hjælp af en ligetil tilgang. Tæl antallet af avancerede PCI GPU-enheder, som du vil overføre til denne VM. Dette kan være en eller flere GPU'er. Gang dette tal med 16 og afrund det op til den næste potens på to.

Hvis du f.eks. vil bruge gennemgangstilstand med to GPU-enheder i én VM, vil værdien være: 4 * 16 = 64, afrundet op til den næste potens på to for at give 128.
 

Tildeling af en GPU-enhed til en virtuel maskine

Dette afsnit beskriver tildelingen af GPU-enheden til VM'en. Sluk for den virtuelle maskine, før du tildeler GPU-enheden til den.

For at give en virtuel maskine adgang til en PCI-enhed skal du i vSphere-klienten vælge den virtuelle maskine, bruge indstillingen "Rediger indstillinger" og rulle ned til listen over PCI-enheder. Hvis din enhed ikke allerede er angivet der, skal du bruge knappen "Tilføj ny enhed" for at føje den til listen. Når indstillingerne for din virtuelle maskine er tilføjet, bør de ligne dem, der vises i figur 7. I dette eksempel er den relevante post "PCI-enhed 0".

Hukommelsesreservation

Når PCI-enheden er tildelt en VM, skal den virtuelle maskine have en hukommelsesreservation til den fuldt konfigurerede hukommelsesstørrelse for VM'en. Dette gøres i vSphere-klienten ved at vælge VM'en og bruge "Edit Settings > Virtual Hardware > Memory" til at få adgang til og ændre værdien i reservationsområdet.

Til sidst skal du tænde for den virtuelle maskine. Når du har tændt for den virtuelle maskine, skal du logge ind på Guest OS og kontrollere, at GPU-kortet er til stede ved hjælp af.

• På en virtuel Linux-maskine skal du bruge kommandoen

"lspci | grep nvidia"

Eller

• På et Windows-operativsystem skal du bruge "Enhedshåndtering" fra Kontrolpanel til at kontrollere de tilgængelige GPU-enheder

GPU'en er nu klar til programbrug i passthrough-tilstand.

Fejlfinding

Hvis du har fulgt ovenstående instruktioner, og din VM stadig ikke starter korrekt med enhederne aktiveret, kan materialet i dette afsnit være nyttigt. Hvis du har prøvet nedenstående forslag og stadig har problemer, så kontakt os, så kan vi hjælpe dig.
 

Kortlægningsproblem:
Hvis du ser en fejl, der ligner følgende, i VM'ens vmware.log fil:

Dine BIOS-indstillinger opfylder ikke ESXi-kravene til aktivering af denne type passthrough-enhed. ESXi 6.0 p4 til ESXi 6.5 kræver, at hukommelsen, der er tilknyttet PCI-enheder, alle er under 16 TB. Det kan være muligt at løse dette problem, hvis din BIOS understøtter muligheden for at styre, hvor højt i værtens hukommelsesadresseplads PCI-hukommelsesområder tilknyttes. Nogle producenter - SuperMicro for eksempel - har BIOS-muligheder for at ændre, hvor højt denne hukommelse tilknyttes. På SuperMicro-systemer kan MMIOHBase-parameteren ændres til en lavere værdi fra standardværdien på 56 TB. Sugon-systemer har også en lignende (skjult) BIOS-indstilling. Kontakt systemleverandøren for at finde ud af, om din BIOS understøtter denne gentilknytningsfunktion. En anden løsning er at opdatere din ESXi-version til 6.5 u1 eller nyere, som har fjernet begrænsningen på 16 TB.

Forkert konfiguration:
En fejl i vmware.log filen i følgende formular:

Indikerer, at du ikke har aktiveret tilknytninger af "over 4 GB" korrekt i din værts BIOS som beskrevet i afsnittet "Host BIOS" ovenfor, eller at du ikke har angivet VMX-posterne korrekt.

Enheden kan ikke bruges:
Hvis du har fulgt alle ovenstående instruktioner, og din VM er startet korrekt, men du ser en meddelelse, der ligner følgende, når du kører nvidia-smi-værktøjet i dit gæsteoperativsystem:

Vi foreslår, at du kontakter Nvidia direkte eller udfører en websøgning ved hjælp af denne streng for at finde yderligere oplysninger, der kan være til hjælp.