Словарь — Основные понятия
Токен
Токен — это кусок текста, обычно слово, часть слова или знак препинания, который языковая модель превращает в число, чтобы с ним считать.
3 токеновТокен
Проще говоря#
Машина не видит слов. Она видит числа. Чтобы превратить текст в числа, его сначала режут на кусочки — эти кусочки и называются токенами.
Один токен — это не одно слово. Короткое частое слово часто помещается в один токен, длинное или редкое разбивается на несколько.
Пример#
Слово «token» само по себе ровно один токен, номер 10346. Эстонское «tehisintellekt» — пять. Именно поэтому эстонский для машины дороже: на тот же смысл уходит больше токенов.
Почему это важно#
В токенах меряются две вещи: цена и память. Счета за API считаются в токенах, и объём разговора, который модель держит в голове, — тоже.