Словарь — Языковые модели
Большая языковая модель
Большая языковая модель — это программа, обученная на огромном объёме текста предсказывать, какой токен идёт следующим.
6 токеновБольшаяязыковаямодель
Проще говоря#
Всё поведение ChatGPT, Claude и Gemini следует из одной способности: предсказать следующий токен. Это делается снова и снова, токен за токеном, пока ответ не готов.
Звучит слишком просто, чтобы работать. Но когда модель увидела достаточно текста, предсказание начинает выглядеть как понимание.
Пример#
Напишите «Столица Эстонии —», и самый вероятный следующий токен — «Таллин». Модель ничего не «знает» о Таллине: она просто видела этот шаблон миллионы раз.
Почему это важно#
Отсюда следует всё остальное: почему AI звучит уверенно, даже когда ошибается, и как он пишет то, чего никто никогда не писал.