Словарь — Безопасность
Jailbreak
Jailbreak — попытка уговорить модель обойти собственные ограничения, обычно через хитрую формулировку или ролевую игру.
3 токеновJailbreak
Проще говоря#
Модели обучены не делать определённых вещей. Jailbreak — это промпт, который пытается обойти эти ограничения: «представь, что ты персонаж без правил».
Пример#
Отличие от prompt injection: jailbreak делает сам пользователь со своей моделью. Prompt injection делает третья сторона, пряча инструкцию в контенте, который модель читает.
Почему это важно#
Если вы строите на AI, считайте, что кто-то попробует. Не кладите в системный промпт ничего, утечка чего стала бы проблемой, — это не граница безопасности.