KInIT s analytikmi ministerstva školstva riešil dokumenty, embeddingy a lokálne modely

KInIT 12. októbra zverejnil opis spolupráce s Ministerstvom školstva, výskumu, vývoja a mládeže SR. Najtechnickejšia časť sa týkala Inštitútu vzdelávacej politiky, ktorého analytici už pracovali s programovaním, jazykovými modelmi a strojovým učením. Program preto nadviazal na ich konkrétne problémy, nie iba na všeobecné predstavenie chatbotov.

Inštitút pripravuje analýzy a podklady pre vzdelávaciu politiku. Pracuje pritom s rozsiahlymi dokumentmi aj národnými a medzinárodnými dátami. To vysvetľuje, prečo sa spolupráca sústredila na spracovanie textu, predikčné metódy a zmysluplné využitie modelov pri analytickej práci.

Jednou z konzultovaných úloh bolo spracovanie veľkého množstva textu z dotazníkov. KInIT opisuje návrh zoskupovania vetných embeddingov pomocou k-means. Text sa najprv prevedie na číselnú reprezentáciu významu a podobné odpovede sa následne rozdelia do skupín, ktoré môže analytik ďalej preskúmať.

Predmetom diskusie boli aj RAG, teda vyhľadanie relevantných podkladov pred tvorbou odpovede, a lokálne nástroje pre citlivé dokumenty. Tieto prístupy riešia rozdielne problémy: zoskupovanie pomáha orientovať sa v množstve odpovedí, zatiaľ čo RAG poskytuje modelu konkrétny dokumentový kontext.

Zdroj opisuje školenia, návrhy postupov a individuálne konzultácie. Neuvádza meranie presnosti hotového klasifikátora ani úsporu času produkčnej aplikácie. Preto by bolo nepresné tvrdiť, že ministerstvo už nasadilo automatický systém na rozhodovanie o školstve.

Praktická hodnota prípadu je v spôsobe zadania: technicky pokročilý tím priniesol vlastné dáta a pracovné otázky. Pri ďalšom overovaní by bolo vhodné porovnať vytvorené skupiny s hodnotením analytikov, sledovať zle zaradené odpovede a kontrolovať reprezentatívnosť výsledkov. Lokálne spracovanie zase potrebuje vlastné nastavenie prístupov a prevádzky. Prípad ukazuje, ako sa všeobecné vzdelávanie dá premeniť na konkrétny návrh práce s dokumentmi bez predstierania výsledkov, ktoré zatiaľ neboli zverejnené.

Pri dotazníkoch navyše podobnosť viet nemusí znamenať rovnaký názor. Dve odpovede môžu používať rovnaké slová, ale líšiť sa negáciou alebo podmienkou. Pracovný postup preto potrebuje ľudské overenie vzoriek z jednotlivých skupín a kontrolu menšinových tém. Práve takéto otázky premieňajú všeobecné školenie embeddingov na analytickú úlohu s jasným kritériom kvality, ktorú možno porovnať s doterajším ručným spracovaním.