EPYC 9006 rozširuje pamäť aj počet jadier. Agentová AI potrebuje viac než GPU

Keď AI agent odpovedá na firemnú otázku, často najprv vyhľadá dokument, načíta údaje z databázy a zavolá nástroj. Tieto kroky sa nemusia odohrávať na GPU. AMD preto pri EPYC 9006 zdôrazňuje aj procesorové časti agentovej infraštruktúry, kde rozhodujú jadrá, pamäť a vstupno-výstupné rozhrania.

Rodina s pôvodným označením Venice používa architektúru Zen 6 a 2 nm výrobnú technológiu TSMC. Má smerovať k vyššej hustote výpočtu a väčšej pamäťovej priepustnosti. Číselné označenie výrobného procesu však samo osebe nevysvetľuje výkon celej aplikácie.

AMD v technickom texte uvádza až 256 jadier a 512 vlákien na socket, až 16 kanálov DDR5, podporu MRDIMM do 12 800 MT/s a PCIe Gen 6. Ide o maximá platformy; konkrétny server a procesor nemusia poskytovať všetky horné hodnoty naraz.

Samostatné májové oznámenie opisuje nábeh výroby Venice na Taiwane a budúci zámer výroby v Arizone. Tento míľnik treba odlíšiť od dostupnosti konkrétnej serverovej konfigurácie u dodávateľa. Návrh infraštruktúry potrebuje presný model CPU, osadenie pamätí, napájanie a podporu softvéru.

Pamäťové kanály sú dôležité vtedy, keď veľa jadier súčasne pracuje s rozsiahlymi dátami. Nedostatočne osadená pamäť môže potenciál procesora obmedziť. Podobne rýchlejšie vstupno-výstupné rozhranie pomáha iba v zostave, ktorá ho dokáže využiť aj na strane úložiska a siete. Procesorové maximum preto nie je automaticky parametrom celej dodanej zostavy.

AMD porovnáva viac procesorových úloh používaných okolo agentov. Výsledky výrobcu sú viazané na opísané zostavy a metodiku. Vyšší súhrnný výkon ešte nemusí skrátiť požiadavku, pri ktorej väčšinu času zaberá vzdialené API alebo pomalá databáza.

Praktické meranie má preto oddeliť vyhľadávanie, prípravu vstupu, volanie modelu a vykonanie nástrojov. Pri súbežných agentoch treba sledovať aj latenciu pomalších požiadaviek a využitie pamäte. Ak CPU obmedzuje obsluhu GPU alebo dát, silnejšia platforma môže pomôcť. Ak je problém inde, samotná výmena procesora ho nevyrieši. Výber servera má stáť na meraní vlastného postupu a celkových nákladoch prevádzky.