Sõnastik — Põhimõisted
Token
Token on tükk teksti — tavaliselt sõna, sõnaosa või kirjavahemärk —, mille keelemudel muudab numbriks, et sellega arvutada.
Lihtsalt öeldes#
Masin ei näe sõnu. Ta näeb numbreid. Selleks, et tekst numbriteks muuta, lõigatakse see esmalt tükkideks — ja neid tükke nimetataksegi tokeniteks.
Üks token ei ole sama mis üks sõna. Lühike ja sage sõna mahub sageli ühte tokenisse, pikk või haruldane sõna läheb mitmeks.
Näide#
Sõna „token“ ise on täpselt üks token, number 10346. Sõna „tehisintellekt“ läheb viieks. Sellepärast ongi eesti keel masina jaoks kallim: sama mõtte edasiandmiseks kulub rohkem tokeneid.
Miks see sinu jaoks oluline on#
Tokenites mõõdetakse kahte asja: hinda ja mälu. API-de arved käivad tokenite kaupa, ja see, kui palju juttu mudel korraga meeles hoiab, on samuti tokenites.