Sõnastik — Keelemudelid
Tokeniseerimine
Tokeniseerimine on teksti tükeldamine tokeniteks — see on esimene asi, mis juhtub iga sõnumiga, mille sa AI-le saadad.
3 tokenitTokeniseerimine
Lihtsalt öeldes#
Enne kui mudel su küsimusega midagi teha saab, lõikab ta selle tükkideks ja asendab iga tüki numbriga. Reeglid selleks on treenimise käigus välja õpitud: sagedased tähejadad saavad oma tokeni, haruldased lõigatakse peeneks.
Näide#
„Kuidas läheb?“ läheb neljaks-viieks tokeniks. Sama lause inglise keeles („How are you?“) läheb neljaks. Vahe tuleb sellest, et treeningandmetes oli inglise keelt kordades rohkem.
Miks see sinu jaoks oluline on#
See selgitab, miks AI mõnikord sõnu valesti „näeb“ — näiteks ei oska usaldusväärselt tähti kokku lugeda. Ta ei näe tähti, ta näeb tokeneid.