Словарь — Языковые модели
Дообучение
Дообучение — это дополнительное обучение уже обученной модели на меньшем и более специфичном наборе данных, чтобы она подошла под узкую задачу.
4 токеновДообучение
Проще говоря#
Большая модель в целом умеет всё, но не именно то, что нужно вам. Дообучение берёт существующую модель и обучает её стилю или формату вашей области.
Пример#
Компания может дообучить модель на своей переписке, чтобы ответы звучали её голосом.
Почему это важно#
В большинстве случаев дообучение не нужно. Хороший системный промпт и RAG решают ту же задачу дешевле и быстрее. Дообучение окупается, когда нужна строгая форма или стиль в больших объёмах.