Intel Cluster-On-Die(COD)-teknik på VMware ESXi

Introduktion

    I NUMA-aktiverade system är minneskanalerna fördelade över processorerna. Alla minnesrelaterade åtgärder kräver snoop-åtgärder för att upprätthålla koherensen för cachedata. Snooping används för att undersöka innehållet i cacheminnet på både lokala processorer och fjärrprocessorer för att hitta kopian av begärda data som finns i cacheminnen.  Om NUMA är inaktiverat (nodinterfoliering aktiverad i BIOS) inaktiveras snoop-läget automatiskt.

        Det finns tre typer av snoop-läge i Intel Haswells mikroarkitektur. Dells 13^:e generationens servrar (13G) har stöd för alla tre snoop-lägen, t.ex:-

1) Tidig snoop

2) Snoka hemma

3) Kluster på matris

I den här bloggen diskuterar vi om Cluster-On-Die (COD) snoop-läge när det gäller VMware ESXi. Den här bloggen tar upp följande aspekter.

• Grunderna i COD
• Förutsättningar för att aktivera COD ur både maskinvaru- och VMware ESXi-perspektiv
• Få kommandoradsalternativ i ESXi som visar skillnaden i NUMA-lista med COD aktiverat och inaktiverat.

Innan vi går in på detaljerna om COD är det nödvändigt att förstå typer av processorer baserat på antalet kärnor på Intel Haswell-processorns mikroarkitektur.

Intel har klassificerat haswell-processorarkitekturen i följande typer:-

1) LCC – lågt antal kärnor [4–8 kärnor]

2) MCC – medelstort antal kärnor [10–12 kärnor]

3) HCC – högt antal kärnor [14–18 kärnor]

                   Obs! Typerna av antal kärnor varierar på olika Intel-mikroarkitekturer.

 

Vad är COD-läge (Cluster-On-Die)?

COD är ett nytt snoop-läge som introducerades från Intel Haswell-processorfamiljen som har 10 eller fler kärnor. För MCC- och HCC-processorkategorierna har Intel införlivat två minnesstyrenheter i en enda processorsockel medan LCC-processorn bara har en minnesstyrenhet. Varje minnesstyrenhet i en processorsockel fungerar som en Home Agent [HA].

På COD-aktiverade servrar delar varje processor logiskt upp socketen i 2 NUMA-noder Varje NUMA-nod har hälften av det totala antalet fysiska kärnor och hälften av cacheminnet på den sista nivån (LLC) med en hemagent. Termen kluster bildas som processorkärnor och motsvarande minnesstyrenhet grupperas tillsammans och bildas som kluster på sockelmatrisen. Varje hemagent använder två minneskanaler och ser begäranden från ett mindre antal logiska kärnor för processorn, vilket ger högre minnesbandbredd och låg latens. Det här driftläget används främst för att optimera NUMA-arbetsbelastningarna. Operativsystemet visar antalet NUMA-noder genom att läsa ACPI SRAT-tabellerna.

En grafisk representation av COD är som följer: -


 

Det kan ses på den andra bilden att den enkla processorsockelmatrisen är uppdelad i två logiska noder när COD är aktiverat. 

Förutsättningar:

I det här avsnittet diskuteras förutsättningarna både ur hårdvaru- och VMware ESXi-perspektiv.

Maskinvara:

• COD kan endast aktiveras på Intel Haswell-EP-processorer med 10 eller fler kärnor.
• Minnet måste fyllas på på alternativa minneskanaler (CH0, CH2 och CH1 och CH3). Till exempel har R730-, R730xd-, R630- och T630-servern fyra minneskanaler per sockel.

              Låt oss ta ett exempel för att bättre förstå ovanstående krav. För en server med endast två minnesmoduler per kanal måste följande platser fyllas i för en specifik kanal

• A1 och A3 

 Med 4 minnesmoduler,

• A1, A3 och B1, B3

 Med 8 minnesmoduler,

• A1, A3, B1, B3 och A2, A4, B2, B4

Obs! Minst två minnesmoduler måste fyllas i för att COD ska aktiveras.

• Token för Cluster On Die måste aktiveras i BIOS-inställningarna.

• VMware-stöd för COD började med vSphere 6.0 i början och stöds nu även i ESXi 5.5 U3b. Mer information finns i VMware KB-2142499. 

VMware ESXi läser ACPI SRAT (System Resource Affinity Tables) och SLIT (System Locality Information Tables) för att identifiera och mappa tillgängliga maskinvaruresurser. Detta inkluderar även mappning av NUMA-noderna. I det här avsnittet beskrivs några kommandoradsalternativ som användarna kan använda för att se COD-tillståndet från VMware ESXi.

• esxtop innehåller ett alternativ för att se NUMA-noderna ifyllda. När esxtop-kommandot anges trycker du på "m" för att se NUMA-nodinformationen enligt följande.

Följande skärmbilder har tagits från ett system med två processorsocklar och 128 GB systemminne. I standardkonfigurationen utan COD aktiverat skulle esxtop visa två NUMA-noder med 64 GB allokerat per NUMA-nod. Följande bild visar esxtop-kommandoutdata i VMware ESXi med COD inaktiverat. 

Med COD aktiverat listar esxtop fyra NUMA-noder istället för två eftersom den enda processorsockelmatrisen är uppdelad i två.

Fördelar

I COD-läge ser operativsystemet två NUMA-noder per sockel. COD har den bästa lokala latensen. Varje hemagent ser begäranden från ett mindre antal trådar, vilket kan ge högre minnesbandbredd. COD-läget har stöd för minneskatalogbitar. Det här läget är bäst för mycket NUMA-optimerade arbetsbelastningar. Läs en blogg publicerad av Dells HPC-team som beskriver olika snoopinglägen. 

Referenser

VMware KB ropar ut Intel COD-stöd

Gäller ej

Gäller ej