Почему AI врёт? Галлюцинации простыми словами

Попросите модель дать ссылки на научные статьи — и вы их получите: автор, год, журнал, номера страниц. Часть из них не существует. Не потому, что модель хочет вас обмануть, а потому, что она не отличает правду от правдоподобного текста.

Откуда это берётся#

Языковая модель делает одно: предсказывает следующий токен. Когда вы просите ссылку, самое вероятное продолжение — то, что выглядит как ссылка: правильной формы фамилия, правдоподобный год, реальное название журнала.

Внутри модели нет отдельного места, где она проверяла бы, существует ли эта ссылка. Предсказание — всё, что у неё есть.

Почему это звучит так уверенно#

Потому что уверенный тон — тоже всего лишь предсказание. В обучающих данных большинство ответов написаны утвердительно. Сомнение в текстах встречается реже уверенности, и модель предсказывает уверенность.

Это и есть по-настоящему опасная часть: по тону ответа нельзя понять, верен ли он.

Где галлюцинации случаются чаще всего#

• Числа и даты. Статистика, цены, годы.
• Ссылки и источники. Статьи, нормы закона, судебная практика.
• Имена. Особенно менее известные люди и контексты небольших языков.
• Недавние события. Если это произошло после окончания обучающих данных, модель не знает — но всё равно может ответить.
• Локальная информация. Законы конкретной страны, местные компании, небольшие учреждения.

Что с этим делать#

Проверяйте всё проверяемое. Числа, имена, даты, ссылки. Это скучно, и это всё решение целиком.

Просите источник и открывайте его. Если модель не даёт ссылку или ссылка не работает, считайте утверждение непроверенным.

Используйте RAG, когда это серьёзно. Если AI должен отвечать по вашим документам, отдайте ему документы. Тогда он отвечает по прочитанному, а не по памяти.

Разрешите ему не знать. Добавьте в промпт: «Если не уверен — так и скажи». Это не убирает проблему, но заметно её уменьшает.

Не спрашивайте то, что не сможете проверить. Самое недооценённое правило. Если вы не в состоянии оценить ответ, у вас нет способа понять, верен ли он.

Исчезнет ли это когда-нибудь#

Частично. Модели становятся лучше, добавление поиска помогает сильно. Но пока система построена на предсказании, доля выдумки остаётся. Планируйте с учётом этого, а не в расчёте на исчезновение.