KInIT skúmal chatboty cez ich webové rozhrania. Rovnaká otázka nemusí znamenať rovnaké podmienky

KInIT 2. októbra predstavil projekt študentov školy DELTA z Pardubíc, ktorí počas stáže pripravili metodiku a nástroj na audit chatbotov. Testovali používateľské rozhrania, nie iba vývojárske API. Rozhranie totiž pridáva vlastné pokyny, pamäť či personalizáciu, ktoré môžu ovplyvniť odpoveď.

Nástroj opakuje otázky pri rôznych účtoch a simulovaných používateľských profiloch a zaznamenáva priebeh rozhovoru. Súčasťou návrhu je práca v angličtine, češtine a slovenčine. To je užitočné aj preto, že menšie jazyky bývajú v bežných hodnoteniach zastúpené menej.

Tím skúmal kariérne odporúčania pri zmene pohlavia, veku, etnicity alebo sociálneho zázemia simulovaného používateľa. V 271 rozhovoroch so šiestimi personami podľa zverejneného opisu nenašiel významné rozdiely. Tento výsledok sa týka daných otázok a podmienok; nedokazuje neprítomnosť skreslenia vo všetkých oblastiach.

KInIT odkazuje aj na samostatnú štúdiu autorov Wang, Baumann, Ho a Koyejo o rozdieloch medzi API a rozhraniami chatbotov. Jej revidovaný abstrakt opisuje priemerné rozdiely v presnosti a opakovateľnosti. Ide o metodický kontext od iného tímu, nie o ďalšie meranie toho istého slovenského experimentu.

Persona je v tomto prípade súbor vlastností vložených do testovacieho kontextu, nie dôkaz správania celej skupiny skutočných ľudí. Výskumník musí vedieť, ktoré údaje chatbot naozaj dostal a ktoré zostali iba v jeho vlastnom zázname. Inak by porovnával odlišné situácie alebo pripísal modelu rozdiel, ktorý vznikol chybnou prípravou testu.

Ak firma nasadzuje asistenta pre zamestnancov, mala by testovať presne tú podobu produktu, ktorú budú používať. Zmena systémových pokynov, pamäte alebo dostupných nástrojov môže zmeniť výsledok aj pri rovnakom názve modelu. Záznam testu preto potrebuje dátum, podmienky, zadanie a spôsob hodnotenia.

Praktický audit má meniť jednu vlastnosť naraz a zachovať ostatné vstupy porovnateľné. Automatické hodnotenie treba doplniť ľudskou kontrolou najmä pri nejednoznačných odporúčaniach. Hodnotou projektu KInIT je konkrétny postup a nástroj pre takéto porovnanie. Aj výsledok bez zisteného rozdielu je užitočný, pokiaľ sa otvorene uvedie rozsah vzorky a nevyvodia sa z neho širšie závery, než dáta umožňujú.