Словарь — Языковые модели
Контекстное окно
Контекстное окно — это объём токенов, который модель держит в голове одновременно; всего, что за его пределами, для модели не существует.
4 токеновКонтекстноеокно
Проще говоря#
У модели нет памяти в вашем понимании. У неё есть окно. Ваш вопрос, её ответ, весь разговор и все приложенные файлы должны поместиться внутрь.
Когда разговор становится длинным, начало выскальзывает из окна. Поэтому AI «забывает», что вы сказали десять сообщений назад.
Пример#
Окно в 128 000 токенов — это примерно 300 страниц английского текста. По-русски помещается почти столько же, по-эстонски — заметно меньше.
Почему это важно#
В длинном разговоре важные вещи стоит повторять. А большой загруженный документ съедает значительную часть окна.