Inteligența artificială generativă, antrenarea modelelor lingvistice de mari dimensiuni și simulările HPC necesită o infrastructură mult mai performantă decât cea oferită de serverele tradiționale. Pe măsură ce modelele AI devin mai complexe, organizațiile au nevoie de platforme capabile să proceseze volume uriașe de date, să susțină comunicații rapide între acceleratoare și să funcționeze stabil în regim continuu.
Supermicro SYS-421GE-TNHR2-LCC este un GPU SuperServer în format 4U, proiectat special pentru antrenarea și rularea aplicațiilor avansate de inteligență artificială. Sistemul poate integra o platformă NVIDIA HGX cu opt acceleratoare H200 sau H100, procesoare Intel Xeon Scalable, memorie DDR5 ECC și o soluție de răcire directă cu lichid.
SYS-421GE-TNHR2-LCC nu este un simplu server echipat cu plăci grafice individuale. Este o platformă GPU densă, dezvoltată pentru centre de date, laboratoare de cercetare și organizații care implementează aplicații AI complexe.
Sistemul este recomandat pentru:
Aceste domenii necesită nu doar o putere mare de calcul, ci și transferuri rapide între GPU-uri, acces rapid la stocare și posibilitatea de a procesa seturi de date foarte mari.
Componenta centrală a serverului este platforma NVIDIA HGX cu opt GPU-uri. În configurația cu NVIDIA H200, fiecare accelerator poate dispune de 141 GB de memorie GPU, rezultând o capacitate totală de până la 1.128 GB pentru cele opt acceleratoare.
Această cantitate de memorie este importantă pentru modelele AI cu miliarde de parametri, deoarece permite păstrarea unei părți mai mari a modelului și a datelor direct în memoria acceleratoarelor.
Comunicarea dintre GPU-uri este realizată prin tehnologiile NVIDIA NVLink și NVSwitch. Acestea permit acceleratoarelor să lucreze împreună ca o singură resursă de calcul, reducând întârzierile asociate transferului de date între GPU-uri. Legătura dintre procesoare și platforma GPU utilizează interfața PCI Express 5.0 x16.
Această arhitectură este potrivită în special pentru workload-uri distribuite, precum:
Supermicro SYS-421GE-TNHR2-LCC folosește placa de bază Super X13DEG-M și oferă două socketuri LGA-4677 pentru procesoare Intel Xeon Scalable din generația a patra sau a cincea.
Sistemul poate suporta procesoare cu până la 64 de nuclee și 128 de fire de execuție fiecare, cu până la 320 MB cache per procesor. Sunt acceptate inclusiv procesoare cu un TDP de până la 385 W, răcite prin sistemul integrat cu lichid.
Procesoarele gestionează operațiunile generale ale sistemului, pregătirea datelor, comunicațiile, stocarea și sarcinile care nu pot fi transferate acceleratoarelor. Configurația dual-socket contribuie la menținerea unui flux constant de date către cele opt GPU-uri.
Serverul dispune de 32 de sloturi DIMM pentru memorie DDR5 ECC RDIMM.
În funcție de configurație, sunt disponibile:
| Configurație memorie | Capacitate maximă | Viteză |
|---|---|---|
| 1 DIMM per canal | Până la 4 TB | 5600 MT/s |
| 2 DIMM-uri per canal | Până la 8 TB | 4400 MT/s |
Memoria ECC poate detecta și corecta anumite erori apărute în timpul funcționării, fiind recomandată în infrastructurile în care stabilitatea și integritatea datelor sunt esențiale. Capacitatea de până la 8 TB permite pregătirea și procesarea în memorie a unor seturi mari de date utilizate în AI, analiză și simulări.
Modelele AI au nevoie de un flux constant de date. Un subsistem de stocare lent poate limita performanța acceleratoarelor, chiar dacă serverul dispune de GPU-uri foarte puternice.
SYS-421GE-TNHR2-LCC oferă în configurația standard:
Unitățile NVMe pot fi utilizate pentru sistemul de operare, cache local, seturi de date active, checkpoint-uri pentru modelele AI sau spațiu temporar de procesare.
Configurația standard pune la dispoziție opt sloturi PCIe 5.0 x16 low-profile și două sloturi PCIe 5.0 x16 FHHL.
O configurație alternativă poate include opt sloturi PCIe 4.0 x16 low-profile și patru sloturi PCIe 5.0 x16 FHHL.
Aceste sloturi permit instalarea unor adaptoare suplimentare, precum:
Posibilitățile de extindere sunt importante atunci când serverul trebuie integrat într-un cluster format din mai multe noduri GPU.
Puterea de calcul oferită de opt acceleratoare GPU și două procesoare server generează o cantitate semnificativă de căldură. Din acest motiv, SYS-421GE-TNHR2-LCC utilizează răcire cu lichid de tip Direct-to-Chip, prin plăci reci montate direct pe componentele principale.
Lichidul preia căldura de la procesoare și acceleratoare și o transferă către infrastructura de răcire a centrului de date. Sistemul include și până la patru ventilatoare de 80 mm pentru circulația aerului și răcirea componentelor auxiliare.
Achiziția acestui model necesită integrarea într-un rack complet echipat pentru răcire cu lichid și intervenție specializată la locație. Prin urmare, serverul trebuie analizat ca parte a unei soluții complete de centru de date, nu ca un echipament care poate fi instalat într-un rack standard fără modificări.
Pentru alimentarea componentelor, serverul este prevăzut cu patru surse de câte 5250 W, configurate redundant în sistem 2+2.
Sursele au certificare Titanium și o eficiență declarată de până la 96%. Redundanța permite sistemului să continue funcționarea în cazul defectării unei surse sau al apariției unei probleme pe unul dintre circuitele de alimentare.
Înainte de instalare trebuie verificate:
Aceste verificări contribuie la evitarea limitărilor de putere și la menținerea serverului în parametrii de funcționare recomandați.
Serverul integrează două porturi RJ45 10GbE, bazate pe controllerul Intel X710-AT2, precum și un port dedicat pentru management BMC/IPMI.
Interfața dedicată de management permite administratorilor să monitorizeze și să controleze serverul chiar și atunci când sistemul de operare nu este disponibil. Pot fi urmărite temperaturile, ventilatoarele, tensiunile, sursele de alimentare și starea generală a echipamentului.
Platforma este compatibilă cu mai multe instrumente Supermicro pentru administrare și automatizare:
Pentru clustere AI, rețeaua integrată poate fi completată cu adaptoare de viteză mai mare, în funcție de arhitectura de stocare și de comunicațiile dintre nodurile GPU.
SYS-421GE-TNHR2-LCC include suport pentru TPM 2.0 și o tehnologie hardware Silicon Root of Trust conformă cu cerințele NIST 800-193.
Funcțiile de securitate prezentate de producător includ:
Aceste mecanisme ajută la protejarea serverului încă din etapa de pornire și reduc riscul utilizării unor componente firmware modificate sau neautorizate.
Serverul este construit într-o carcasă rackabilă 4U, cu următoarele dimensiuni:
| Caracteristică | Valoare |
| Înălțime | 174 mm |
| Lățime | 449 mm |
| Adâncime | 895,35 mm |
| Greutate netă | Aproximativ 80 kg |
| Greutate ambalată | Aproximativ 98 kg |
Adâncimea și greutatea sistemului trebuie luate în calcul în etapa de proiectare a rackului. Se recomandă verificarea șinelor de montare, a adâncimii utile, a distribuției greutății și a spațiului necesar pentru conductele sistemului de răcire.
Cele opt GPU-uri conectate prin NVLink și NVSwitch permit împărțirea modelelor complexe între acceleratoare. Platforma poate fi utilizată pentru antrenarea, ajustarea și inferența modelelor LLM și a aplicațiilor generative.
Serverul poate susține simulări numerice, modelare moleculară, cercetare climatică, analiză genomică și alte aplicații care necesită procesare paralelă masivă.
Capacitatea ridicată de procesare poate fi utilizată pentru analiza riscurilor, detectarea fraudelor, simulări financiare și dezvoltarea unor modele predictive complexe.
Platforma este potrivită pentru analiza datelor biologice, simulări moleculare și dezvoltarea unor modele AI utilizate în identificarea compușilor și accelerarea etapelor de cercetare.
Serverul poate fi folosit pentru antrenarea modelelor de percepție, recunoașterea obiectelor, analiza datelor provenite de la senzori și simularea scenariilor pentru sistemele de conducere autonomă.
Supermicro SYS-421GE-TNHR2-LCC oferă într-un singur sistem:
Prin integrarea acestor componente într-o platformă 4U, serverul poate deveni baza unei infrastructuri AI on-premises sau a unui cluster HPC scalabil.
Configurarea unui server GPU de acest nivel trebuie realizată pornind de la aplicația concretă și de la infrastructura disponibilă.
Înainte de alegerea configurației se recomandă evaluarea următoarelor elemente:
Configurația finală poate varia în funcție de procesoare, acceleratoare, memorie, unități NVMe și adaptoarele de rețea selectate.
Supermicro SYS-421GE-TNHR2-LCC este o platformă de calcul accelerat destinată organizațiilor care dezvoltă aplicații complexe de inteligență artificială, modele generative și proiecte HPC.
Cele opt GPU-uri NVIDIA, interconectarea NVLink cu NVSwitch, procesoarele Intel Xeon Scalable, memoria DDR5 ECC și răcirea directă cu lichid permit construirea unei infrastructuri capabile să susțină workload-uri intensive și să proceseze volume mari de date.
