Muse Spark Open: otvorené váhy veľkého multimodálneho modelu potrebujú veľkú infraštruktúru

Hugging Face 15. októbra zverejnil technický sprievodca modelom Meta Muse Spark Open. Model spracúva text, obraz, zvuk aj video a vytvára textový výstup. V praxi môže napríklad odpovedať na otázku k obrazovému alebo zvukovému materiálu; samotný zoznam vstupov z neho nerobí generátor všetkých týchto médií.

Sprievodca pochádza od tímu Hugging Face a dopĺňa ho modelová karta v oficiálnom priestore Meta. Tieto dva podklady plnia rozdielne úlohy: jeden vysvetľuje integráciu, druhý identifikuje konkrétny model. Nie sú to dve nezávislé merania jeho kvality.

Architektúra mixture-of-experts má približne 816 miliárd parametrov a pri spracovaní aktivuje asi 42 miliárd. Výber expertov znižuje rozsah výpočtu na token, ale prevádzka musí stále zabezpečiť dostupnosť váh celého systému. Rozlišovať treba pamäť váh, pracovné medzivýsledky aj pamäť kontextu.

Podporovaný kontext siaha po 1 048 576 tokenov vrátane multimodálnych vstupov. Sprievodca pri plnej dĺžke uvádza približne 266 GB pre KV cache v BF16. To je samostatná položka popri váhach. Dlhé video alebo veľký archív preto nemožno posudzovať iba podľa toho, či sa model vôbec zmestil pri krátkej skúšobnej otázke.

Podklady opisujú podporu viacerých nástrojov vrátane Transformers, SGLang, vLLM a MLX a varianty váh s rôznou presnosťou. Výber runtime ovplyvní podporované vstupy, rýchlosť aj nároky na hardvér. Pri plánovaní treba kontrolovať konkrétnu verziu a modelovú kartu, nie prenášať nastavenia z iného modelu.

Pre podnik je rozumné začať menším súborom vlastných úloh: napríklad otázkami k technickým fotografiám a manuálom. Zmerať treba správnosť, čas do odpovede a kapacitu pri súbežných požiadavkách. Otvorené váhy umožňujú väčšiu kontrolu nad prevádzkou, no z rozsiahleho modelu nerobia bežnú aplikáciu pre notebook ani nezaručujú správne pochopenie každého dokumentu.

Pri multimodálnej úlohe treba evidovať aj spôsob prípravy média. Rovnaké video môže aplikácia rozdeliť na iný počet snímok a zmeniť tým množstvo informácií aj náklady. Test by mal preto uchovať vstupné súbory, vybrané snímky a otázku. Zistenie, že model odpovedal správne na jednu ukážku, je potom možné zopakovať a porovnať s ďalším runtime alebo nastavením presnosti bez zmeny zadania.