Что такое токен? Самое важное понятие в AI простыми словами

Если вы прочитаете про одно понятие в AI — прочитайте про это. Почти всё, что поначалу кажется странным в языковых моделях, объясняется отсюда.

Машина не видит слов#

Языковая модель работает не с буквами и не со словами. Она работает с числами. Чтобы превратить вашу фразу в числа, её сначала режут на кусочки — эти кусочки и есть токены.

Один токен — это не одно слово. Частое короткое слово обычно помещается в один токен. Длинное или редкое разбивается на несколько. Каждый кусок получает свой номер.

Слово «token» само по себе один токен#

Слово token кодируется ровно одним токеном — номер 10346. Эстонское tehisintellekt — пятью. Отсюда и название этого сайта: самая маленькая единица, с которой работает машина, и одновременно самое полезное, что можно узнать про AI.

Зачем это знать#

В токенах меряются две вещи.

Цена. Счета за API считаются в токенах — и за ввод, и за вывод. Если вы используете AI в компании, количество токенов и есть ваш прогноз расходов.

Память. Контекстное окно — сколько разговора модель держит одновременно — тоже меряется в токенах. Когда разговор становится длинным, начало выскальзывает из окна, и AI «забывает».

Почему AI не умеет считать буквы#

Классический пример: спросите модель, сколько букв р в слове «переработка», — она ошибается на удивление часто. Причина именно в этом: она не видит букв. Она видит токены, целые куски. Считать буквы для неё примерно то же, что для вас — считать пиксели, из которых состоит буква.

Что с этим делать#

Три практических вывода:

1. В длинном разговоре повторяйте важное — оно могло выскользнуть из окна.
2. Если вы платите за API, короткий промпт дешевле. Но не всегда лучше: слишком короткий даст непригодный ответ, который придётся переспрашивать.
3. Текст на эстонском тратит заметно больше токенов, чем то же содержание по-английски. Русский в этом смысле почти не уступает английскому.

Попробуйте сами: напишите что-нибудь в токенизаторе и посмотрите, на сколько кусков разойдётся ваша фраза.