Словарь — Языковые модели
Параметр
Параметр — это одно число внутри модели, которое подстраивается при обучении; у больших моделей их сотни миллиардов.
4 токеновПараметр
Проще говоря#
Когда вы слышите «модель на 70 миллиардов параметров», это и есть 70 миллиардов чисел, расставленных обучением. Эти числа — всё, что модель «знает».
Пример#
Больше параметров обычно означает более способную модель, но и более дорогую и медленную. На узкой задаче маленькая модель может обойти большую.
Почему это важно#
Число параметров — популярная маркетинговая цифра, но само по себе оно ничего не говорит о качестве. Качество обучающих данных значит столько же или больше.