Miks AI valetab? Hallutsinatsioonid lihtsalt seletatud

Küsi mudelilt viiteid teadusartiklitele ja sa saad viited: autor, aasta, ajakiri, leheküljenumbrid. Osa neist ei ole olemas. Mitte sellepärast, et mudel tahaks sind petta, vaid sellepärast, et ta ei tee vahet tõel ja usutaval tekstil.

Kust see tuleb#

Keelemudel teeb ühte asja: ennustab, milline tokeni tuleb järgmisena. Kui sa küsid viidet, on kõige tõenäolisem jätk midagi, mis näeb välja nagu viide — õige kujuga autorinimi, usutav aasta, päris ajakirja nimi.

Mudelil ei ole eraldi kohta, kust ta kontrolliks, kas see viide eksisteerib. Ennustus on kõik, mis tal on.

Miks see kõlab nii enesekindlalt#

Sest enesekindel toon on ka lihtsalt ennustus. Treeningandmetes olid enamik vastuseid kirjutatud kindlas kõneviisis. Kahtlus on tekstis haruldasem kui kindlus, seega ennustab mudel kindlust.

See on kõige petlikum osa: sa ei saa vastuse toonist aru, kas see on õige.

Kus hallutsinatsioonid kõige sagedamini tekivad#

• Numbrid ja kuupäevad. Statistika, hinnad, aastaarvud.
• Viited ja allikad. Teadusartiklid, seaduseparagrahvid, kohtulahendid.
• Nimed. Eriti vähem tuntud inimesed ja väiksemate keelte kontekstis.
• Hiljutised sündmused. Kui see juhtus pärast treeningandmete lõppu, ei tea mudel seda — aga võib ikkagi vastata.
• Spetsiifiline kohalik info. Eesti seadused, kohalikud ettevõtted, väiksemad asutused.

Mida sellega teha#

Kontrolli üle kõik, mis on kontrollitav. Numbrid, nimed, kuupäevad, viited. See on igav, aga see on kogu lahendus.

Küsi allikat ja ava see. Kui mudel ei suuda linki anda või link ei tööta, kohtle väidet kui kontrollimata.

Kasuta RAG-i, kui see on tõsine. Kui AI peab vastama sinu dokumentide pealt, anna dokumendid kaasa. Siis vastab ta loetu, mitte mälu põhjal.

Luba tal mitte teada. Lisa promptí: „Kui sa ei ole kindel, ütle seda.“ See ei kaota probleemi, aga vähendab seda märgatavalt.

Ära küsi seda, mille vastust sa kontrollida ei oska. See on kõige alahinnatum reegel. Kui sa ei suuda vastust hinnata, ei ole sul mingit võimalust aru saada, kas see on õige.

Kas see kunagi kaob#

Osaliselt. Mudelid lähevad paremaks, otsingu lisamine aitab palju. Aga kuni süsteem põhineb ennustamisel, jääb mingi määr väljamõtlemist alles. Plaani sellega, ära looda selle kadumisele.