Sõnastik — Keelemudelid
Kontekstiaken
Kontekstiaken on tokenite hulk, mida mudel korraga meeles hoiab — kõik, mis sellest välja jääb, on tema jaoks olematu.
5 tokenitKontekstiaken
Lihtsalt öeldes#
Mudelil ei ole mälu selles mõttes, nagu sul on. Tal on aken. Sinu küsimus, tema vastus, kogu senine vestlus ja kõik lisatud failid peavad sellesse aknasse ära mahtuma.
Kui vestlus läheb liiga pikaks, hakkab algus aknast välja libisema. Sellepärast „unustab“ AI, mida sa talle kümme sõnumit tagasi ütlesid.
Näide#
128 000 tokeni suurune aken on umbes 300 lehekülge inglise keelset teksti. Eesti keeles mahub sinna umbes kolmandiku võrra vähem.
Miks see sinu jaoks oluline on#
Pikas vestluses tasub tähtsad asjad üle korrata. Ja kui sa laadid üles suure dokumendi, kulub sellest suur osa akent — ülejäänu jaoks jääb vähem ruumi.