Словарь — Языковые модели
Токенизация
Токенизация — это разбиение текста на токены, первое, что происходит с каждым сообщением, которое вы отправляете AI.
4 токеновТокенизация
Проще говоря#
Прежде чем модель что-то сделает с вашим вопросом, она режет его на кусочки и заменяет каждый номером. Правила выучены во время обучения: частые последовательности букв получают свой токен, редкие дробятся мелко.
Пример#
«Как дела?» — четыре токена. То же самое по-английски — тоже четыре. А по-эстонски — пять или шесть.
Почему это важно#
Это объясняет, почему AI иногда «видит» слова неправильно — например, не может надёжно посчитать буквы в слове. Он видит не буквы, а токены.