Словарь — Языковые модели
Температура
Температура — это настройка, определяющая, насколько смело модель выбирает при предсказании: низкая даёт предсказуемый ответ, высокая — более творческий и случайный.
3 токеновТемпература
Проще говоря#
На каждом шаге у модели есть набор возможных следующих токенов с вероятностями. Низкая температура почти всегда берёт самый вероятный. Высокая иногда берёт менее вероятный.
Пример#
Для извлечения данных из документа нужна низкая температура: один и тот же вход должен давать один и тот же выход. Для мозгового штурма — повыше.
Почему это важно#
В обычном чате вы это не увидите, но через API это одна из главных ручек. Если ваша AI-функция даёт нестабильный результат, проверьте температуру первой.