Статьи
Что такое контекстное окно и почему AI вас забывает
Вы всё подробно объяснили в начале, а через двадцать сообщений модель ничего из этого не знает. Это не баг — так это устроено.
Знакомая ситуация: вы начинаете разговор, подробно объясняете контекст, получаете хорошие ответы. Через двадцать сообщений модель начинает игнорировать то, что вы установили в начале.
Вам не не повезло. Вы дошли до края контекстного окна.
Что это такое#
У модели нет памяти в вашем понимании. У неё есть окно — фиксированное количество токенов, которое помещается перед ней одновременно.
Внутрь должно поместиться всё: системный промпт, ваш вопрос, предыдущие ответы модели, все загруженные файлы. Когда разговор перерастает предел, начало выскальзывает. Для модели его больше не существует.
Насколько оно велико#
У современных моделей — от 128 000 токенов до нескольких миллионов. Звучит много, и это действительно много: 128 000 токенов — примерно 300 страниц английского текста.
Русского текста поместится почти столько же, а вот эстонского — примерно на треть меньше. Загрузите пару длинных документов, и заметная часть окна уже занята.
Три эффекта, которые вы заметите#
AI забывает. Самое очевидное. Ранние инструкции исчезают.
Ответы становятся общее. Когда специфический контекст вне окна, модель откатывается к общим знаниям.
Он повторяется. Если он больше не видит, что уже сказал, он говорит это снова.
Что делать#
Чаще начинайте новые разговоры. Каждая новая тема заслуживает свежего окна. Продолжение старого тащит за собой всю историю и платит за неё токенами.
Повторяйте важное. Если что-то критично, скажите это заново, а не ссылайтесь на «как я говорил выше».
Делайте промежуточные сводки. «Подведи итог разговора пятью пунктами» — и начните новый разговор с этой сводки. Вы сжимаете контекст.
Загружайте только нужное. Не прикладывайте стостраничный отчёт, если релевантны три страницы.
Почему просто не увеличить окно#
Его и увеличивают, постоянно. Но окно стоит денег: вычисления растут быстрее самого окна, а в очень длинном окне модели хуже используют материал из середины, чем из начала и конца.
Большое окно не бесплатно и не волшебная палочка. Аккуратный подбор контекста остаётся полезным и при большом окне.
