Словарь — Языковые модели
Обучение модели
Обучение — это процесс, в котором модель просматривает огромное количество примеров и подстраивает свои внутренние числа, пока не начнёт предсказывать лучше.
4 токеновОбучениемодели
Проще говоря#
Модель стартует со случайными числами и совершенно бесполезна. Ей показывают текст, она предсказывает следующий токен, ошибается, и числа слегка подправляют. Это повторяется триллионы раз.
Пример#
Обучение большой языковой модели занимает месяцы и стоит десятки миллионов. Именно поэтому больших моделей мало и принадлежат они крупным компаниям.
Почему это важно#
Обучение закончилось до того, как вы взяли модель в руки. Она не «учится» на вашем разговоре: сказанное вами живёт только в контекстном окне и исчезает вместе с диалогом.