Når du tar i bruk generativ KI, er det som å tre inn i en ny verden fylt med unike utfordringer og muligheter. I likhet med Dorothy, som måtte loses gjennom Oz, må organisasjoner klargjøre datasentrene sine for å håndtere kravene i en KI-infrastruktur.
Smaragdbyens databehandlingskrav
Implementeringen av KI-infrastruktur byr på store utfordringer – blant annet kravene til databehandling, der den største utfordringen er modellopplæring. Selv om en organisasjon ikke lærer opp modeller fra bunnen av, er kravene til databehandling for følgeslutninger i store språkmodeller – pluss vektorinnbygging for RAG (Retrieval Augmented Generation) og finjustering – langt større enn for dem som brukes i dagens applikasjoner.
For å innfri disse kravene har GPU-drevne servere med generativ KI langt større spesifikasjoner for fysisk størrelse, vekt, kabling, nettverksbygging, strøm og kjøling enn standardservere. Organisasjoner må planlegge nøye for å implementere denne KI-infrastrukturen i datasentrene sine.
Dell PowerEdge XE9680-serveren, som Dell har godkjent for følgeslutninger, er en 6U-server med åtte NVIDIA H100 GPU-er. Med en robust konstruksjon og kjølekapasitet veier denne serveren mer enn 90 kg. Et rack med fire XE9680-servere bruker 20–40 kW strøm, omfatter mer enn 100 kabler og veier over 450 kg.
Avhengig av behovene dine og omfanget av KI-implementeringen kan du velge å følge anbefalingene i denne bloggen for datasenteret i sin helhet, eller for en dedikert KI-del av datasenteret.
Fugleskremselets hjerne: Datasenterkapasitet
I den klassiske historien sier fugleskremselet at han trenger en hjerne, og planen hans er å følge etter Dorothy for å finne trollmannen. I en verden av KI-infrastruktur er det viktig å ha en plan for datasenterstørrelse og plasstilordning for server- og rackinstallasjon, luftstrømoptimalisering og vedlikehold.
Spesialister på implementering av Dell-tjenester kan samarbeide med teamet ditt om å effektivt håndtere et stort antall rack i KI-infrastrukturen, og levere mer kapasitet for fremtidige utvidelser.
Nøkkelen til å etablere et godt datasenterdesign er å organisere rackene slik at det er enkelt å vedlikeholde serverne og infrastrukturen, og dette gjelder også for KI-infrastrukturen. Teamene bør utarbeide en vedlikeholdsplan som omfatter regelmessige kontroller og utskiftning av luftfiltre, vifter og kjøleenheter etter behov.
Løvens mot: Effektiv luftstrømstyring
Luftstrøm er avgjørende for å håndtere varmen som genereres av servere og infrastruktursystemer. KI-infrastruktur bruker langt mer strøm og genererer mer varme enn tradisjonelle servere, noe som gjør luftstrøm og kjøling enda viktigere.
Organisasjoner bør ha strukturerte strategier for luftstrømstyring, blant annet for isolering av varm og kald luft, slik at kald luft føres direkte inn i serverinntakene mens varm avtrekksluft føres bort fra utstyret. Dette gjør kjølingen mer effektiv og reduserer energikostnadene.
Tinnmannens hjerte: Avansert strøm og kjøling
Det er viktig å evaluere strøm- og kjølebehovene for å støtte GPU-servere med høy tetthet. Planleggingen bør omfatte vurderinger av det nåværende og fremtidige strømbehovet for å sikre at det er nok ressurser og sikkerhetskopisystemer på plass til å unngå drivsavbrudd. Datasentre som ikke er utformet med tanke på de høye kravene i en KI-infrastruktur, er kanskje ikke utstyrt for å håndtere GPU-servere med høy tettet.
Du bør vurdere å investere i den nyeste strømforsynings- og transformatorteknologien som gir høyere ytelse. Denne teknologien reduserer ikke bare energiforbruket, men minimerer også miljøpåvirkningen fra datasenterdriften. Bruk avbruddsfrie strømforsyninger som nødstrøm, og bruk energieffektive PDU-er (strømdistribusjonsenheter) til å administrere og distribuere strømmen effektivt i datasenteret.
Dell-teamet hjelper deg med å vurdere kjølebehovene for å håndtere varmen som genereres av tunge KI-baserte arbeidsoppgaver. Etter hvert som de KI-baserte arbeidsoppgavene intensiveres, kan det hende at tradisjonell luftkjøling blir utilstrekkelig. Implementering av væskekjøleløsninger kan redusere de termiske utslippene med mer effektiv fjerning av varme, samt høyere stabilitet og lengre levetid i konfigurasjoner med høy tetthet.
Totos vei: Kabelkompleksitet -oppsett og -organisering
Vi kan jo ikke glemme Toto! I likhet med Toto, som må finne veien gjennom flokene i Oz, omfatter tilnærmingen vår til KI-implementering omhyggelige kabelhåndteringsløsninger med støtte for overliggende kabelføring og temperaturstyring. Transportsystemer bør utformes slik at strøm- og datakabler holdes atskilt, slik at det er minst mulig forstyrrelser og systemene blir tryggere og mer pålitelige.
I racket er det viktig å fjerne unødvendig rot for å unngå at luften blokkeres, og for å gjøre det enkelt for teknikere å finne riktig kabel. Kabler som ligger feil, kan forårsake varmeutvikling og problemer med bytte av infrastruktur.
Konfigurering av en av «pod» med generativ KI innebærer også ofte at ett nettverksrack betjener flere GPU-serverrack, noe som resulterer i flere og lengre kabler mellom rackene. De anbefalte fremgangsmåtene inkluderer systematisk organisering av den store kabelmengden i et strukturert system for kabling og merking.
For å tilrettelegge for fremtidig vekst bør du implementere tilpassbare kabelhåndteringssystemer som modulære paneler og justerbare rack. Dell AI-serien med profesjonelle KI-baserte tjenester inkluderer implementeringstjenester for infrastruktur som forenkler kabeloppsettet og -håndteringen.
For å gjøre implementeringen på stedet enda enklere kan Dell bygge, konfigurere, kable og teste KI-infrastrukturen på fabrikken, slik at mengden arbeid som må utføres på datasenteret ditt, blir betydelig mindre.
Dorothys visdom: Hensyn ved avhending av emballasje
Dell er bevisst på de miljømessige og logistiske konsekvensene knyttet til avhending av emballasje. Velg resirkulerbare eller biologisk nedbrytbare materialer i kabelemballasje, og implementer bærekraftige avhendingsprotokoller for å innfri myndighetskrav og forbedre miljøprofilen til datasenteret.
Organisasjoner bør også evaluere datasentrene sine for å finne ut hvor de kan redusere strømforbruket (og de påfølgende kjølebehovene) i eksisterende infrastruktur. Dette kan kompensere for noen av behovene i KI-infrastrukturen og redusere effekten av karbonavtrykket.
Målet med Dell-løsningene er å minimere avfall og administrere avhendingskostnadene effektivt, slik at KI-infrastrukturen kan implementeres mest mulig miljøvennlig.
Gå Den gule veien til et datasenter som er klargjort for KI
I likhet med karakterene i «Trollmannen fra Oz», som klarte brasene med litt hjelp fra vennene sine, kan Dell Technologies hjelpe organisasjonen din på reisen mot et datasenter som er klargjort for generativ KI, med profesjonell planlegging og støtte.
Hvis du vil vite mer om hvordan du klargjør datasenteret ditt for KI, kan du ta en titt på Dell Professional Services for generativ KI eller kontakte Dell-representanten din.
