Granite Switch prepína rozhovor, prepis reči a rozhodovanie na jednom serveri

IBM predstavilo Granite Switch 4.1 vo veľkostiach 8B a 30B. Zostava kombinuje jazykový základ, adaptéry na rozhodovanie a kontrolu obsahu a komponent na prepis reči. Jedno rozhranie tak môže prijať nahrávku, pripraviť zhrnutie a následne rozhodnúť podľa zadaných príznakov.

Typickou úlohou môže byť spracovanie zákazníckeho hovoru: najprv prepis, potom stručný obsah a nakoniec určenie, či požiadavka potrebuje zásah konkrétneho oddelenia. Nejde však o dôkaz, že systém bez ďalšej integrácie spoľahlivo vybaví celý zákaznícky prípad.

Základom sú Activated LoRA adaptéry, skrátene aLoRA. Špecializovaná časť upraví správanie spoločného modelu až tam, kde je potrebná. Predtým spracovaný prefix možno znovu použiť z KV cache, teda pamäte medzivýsledkov pozornosti. Pri viacerých rozhodnutiach nad rovnakým dokumentom sa nemusí celý vstup počítať od začiatku.

Oficiálny repozitár opisuje zostavenie vlastnej kombinácie adaptérov aj podporované spúšťanie. Pre vLLM sa používa doplnok; ďalšou cestou je podpora v llama.cpp. Konkrétna zostava musí zodpovedať verzii runtime a typom adaptérov. Spoločné rozhranie preto neznamená, že ľubovoľné váhy možno zameniť bez kontroly kompatibility.

Rozhodovací krok môže vracať pevne určenú kategóriu namiesto dlhého voľného textu. To uľahčuje napojenie na ďalší program: pracovný postup potrebuje jasný príznak, podľa ktorého pokračuje. Vývojár však musí určiť aj vetvu pre neistý alebo neplatný výsledok, aby chybná klasifikácia nespustila celý nadväzujúci proces bez možnosti kontroly.

Prínos sa najlepšie prejaví pri opakovaných úlohách nad tým istým obsahom. Dokument možno raz načítať a potom overovať viac pravidiel alebo kategórií. Pri každom kroku treba sledovať nielen rýchlosť, ale aj správnosť rozhodnutia a prácu s neistotou. Chybne rozpoznaný údaj z prepisu môže ovplyvniť všetky nasledujúce kroky.

IBM ponúka pripravené modely aj možnosť skladať vlastné špecializácie z Granite Libraries. Praktický pilot preto môže porovnať všeobecný rozhodovací adaptér so špecialistom na konkrétnu klasifikáciu. Verejné ukážky výrobcu dokazujú realizovateľnosť tohto zapojenia, nie univerzálnu úsporu na každom GPU. Rozhodujúca je spotreba pamäte, súbežnosť požiadaviek a cena správne dokončeného pracovného prípadu.