Mis on token? AI kõige tähtsam mõiste lihtsalt seletatud

Kui sa loed AI kohta ühte mõistet, loe seda. Peaaegu kõik, mis keelemudelite juures esmapilgul imelik tundub, seletub ära siit.

Masin ei näe sõnu#

Keelemudel ei tööta tähtede ega sõnadega. Ta töötab numbritega. Selleks, et sinu lause numbriteks muuta, lõigatakse see kõigepealt tükkideks — ja need tükid ongi tokenid.

Üks token ei ole üks sõna. Sage ja lühike sõna mahub tavaliselt ühte tokenisse. Pikk või haruldane sõna läheb mitmeks tükiks. Iga tükk saab oma numbri.

Sõna „token“ on ise üks token#

Sõna token kodeeritakse täpselt üheks tokeniks — number 10346. Sõna tehisintellekt läheb viieks. Just siit tuleb selle lehe nimi: kõige väiksem ühik, millega masin töötab, ja ühtlasi kõige kasulikum asi, mida sa AI kohta teada saad.

Milleks seda teada?#

Tokenites mõõdetakse kahte asja.

Hinda. API-de arved käivad tokenite kaupa — nii sisendi kui väljundi eest. Kui sa kasutad AI-d ettevõttes, on tokenite arv sinu kuluprognoos.

Mälu. Kontekstiaken — see, kui palju vestlust mudel korraga meeles hoiab — on samuti tokenites. Kui vestlus läheb pikaks, libiseb algus aknast välja ja AI „unustab“.

Miks AI ei oska tähti kokku lugeda#

Klassikaline näide: küsi mudelilt, mitu tähte r on sõnas „maasikas“, ja ta eksib üllatavalt sageli. Põhjus on täpselt see, et ta ei näe tähti. Ta näeb tokeneid — terveid tükke. Tähtede kokkulugemine on tema jaoks umbes sama, mis sinul lugeda kokku pikslid, millest üks täht koosneb.

Mida sellega peale hakata#

Kolm praktilist järeldust:

1. Pika vestluse puhul korda tähtsad asjad üle — need võivad olla aknast välja libisenud.
2. Kui maksad API eest, siis lühem prompt on odavam prompt. Aga mitte alati parem: liiga lühike prompt annab kasutamatu vastuse, mille pead niikuinii uuesti küsima.
3. Eesti keeles kirjutatud tekst kulutab rohkem tokeneid kui sama sisu inglise keeles. Kui kulu on tähtis ja keel ei ole, tasub seda teada.

Proovi ise: kirjuta midagi tokeniseerijasse ja vaata, mitmeks tükiks su lause läheb.