Mis on kontekstiaken ja miks AI sind unustab

Tüüpiline olukord: alustad vestlust, selgitad põhjalikult konteksti, saad häid vastuseid. Kahekümne sõnumi pärast hakkab mudel ignoreerima asju, mille sa alguses ära ütlesid.

Sul ei ole halba vedamist. Sa jõudsid kontekstiakna piirini.

Mis see on#

Mudelil ei ole mälu selles mõttes, nagu sul on. Tal on aken — kindel hulk tokeneid, mis mahub korraga tema ette.

Sellesse aknasse peab mahtuma kõik: süsteemiprompt, sinu küsimus, mudeli senised vastused, kõik üleslaaditud failid. Kui vestlus kasvab üle piiri, libiseb algus aknast välja. Mudeli jaoks ei ole seda enam olemas.

Kui suur see on#

Tänapäevastel mudelitel 128 000 kuni mitu miljonit tokenit. See kõlab palju, ja on ka — 128 000 tokenit on umbes 300 lehekülge ingliskeelset teksti.

Aga eesti keeles mahub sinna umbes kolmandiku võrra vähem, sest sama tekst kulutab rohkem tokeneid. Kui laadid üles paar pikka dokumenti, on märkimisväärne osa aknast kohe hõivatud.

Kolm tagajärge, mida märkad#

AI unustab. Kõige ilmsem. Alguse juhised kaovad.

Vastused muutuvad üldisemaks. Kui spetsiifiline kontekst on aknast väljas, langeb mudel tagasi üldteadmisele.

Ta kordab ennast. Kui ta ei näe enam, mida ta juba ütles, ütleb ta seda uuesti.

Mida teha#

Alusta uut vestlust tihedamini. Iga uus teema väärib uut akent. Vana vestluse jätkamine kannab kogu ajaloo kaasa ja maksab tokenites.

Korda tähtsat üle. Kui midagi on kriitiline, ütle see uuesti, mitte ei viita „nagu ma alguses ütlesin“.

Tee vahekokkuvõtteid. „Võta senine kokku viie punktiga“ — siis alusta uut vestlust selle kokkuvõttega. Sa pakid konteksti kokku.

Laadi üles ainult vajalik. Kolme lehekülje asemel, mida tegelikult vaja, ära laadi üles sajaleheküljelist aruannet.

Miks lihtsalt akent ei suurendata#

Suurendatakse, pidevalt. Aga aken maksab: arvutuskulu kasvab kiiremini kui aken ise, ja pikas aknas kipub mudel keskel olevat infot halvemini kasutama kui alguses ja lõpus olevat.

Suurem aken ei ole tasuta ja ei ole ka võluvits. Konteksti hoolikas valimine jääb kasulikuks ka siis, kui aken on suur.