UltraBERT spája triedenie textov a vyhľadávanie v malom modeli

UltraBERT od DMIS Lab je rodina encoderov vo veľkostiach 150 a 380 miliónov parametrov. Namiesto postupného vytvárania slov spracuje vstup a pripraví reprezentáciu vhodnú na klasifikáciu alebo vyhľadávanie. Samostatný variant UltraBERT-Embed-150M poskytuje pripravené embeddingy. Váhy sú vydané pod licenciou Apache 2.0.

Takýto model môže triediť prichádzajúce požiadavky alebo pripravovať index dokumentov. Pri dobre ohraničenej úlohe nemusí veľký konverzačný model priniesť primeranú výhodu k svojim nákladom. Rodina je však zameraná na angličtinu; kvalitu slovenského archívu nemožno odvodiť z anglického benchmarku.

Autori skúmali, aký podiel tokenov má byť počas učenia zakrytý. Nižší podiel podľa ich experimentov prospieval klasifikácii, vyšší vyhľadávaniu. UltraBERT preto mieša príklady s päťpercentným a päťdesiatpercentným zakrytím a používa pre ne samostatné výstupné hlavy pri tréningu.

Modelová karta rozlišuje základný checkpoint od modelu pripraveného na konkrétnu úlohu. Pri klasifikácii treba doplniť a doladiť príslušnú hlavu; pri vyhľadávaní možno siahnuť po embeddingovom variante. Označenie jednej rodiny teda neznamená, že všetky checkpointy majú rovnaké vstupy, výstupy a odporúčaný spôsob použitia.

Vo vyhľadávacom systéme sa dokumenty prevedú na vektory vopred a pri otázke sa hľadajú podobné reprezentácie. Konverzačný model potom môže pracovať iba s vybranými úsekmi. Kvalita malého encodera tak ovplyvní aj následnú veľkú odpoveď: ak relevantný podklad vôbec nenájde, ďalší model ho nemá z čoho správne citovať.

Podporovaný kontext dosahuje 32-tisíc tokenov. To môže pomôcť pri dlhších dokumentoch, ale voľba medzi celým dokumentom a kratšími úsekmi závisí od hľadanej informácie. Veľký blok môže spájať viac tém a sťažiť presné vrátenie relevantného odseku.

Praktický test má preto porovnať úspešnosť nájdenia odpovede, rýchlosť indexovania a veľkosť uložených vektorov. Pri triedení je dôležitá kvalita označených príkladov a omyly medzi podobnými kategóriami. Výsledky autorov ukazujú, že úprava tréningového postupu môže byť užitočnejšia než ďalšie predlžovanie učenia. Pre podnik je podstatný výsledok na vlastných dokumentoch, nie samotná veľkosť modelu alebo prvenstvo v jednej tabuľke.