Галлюцинация ИИ

Галлюцинация ИИ — это когда модель уверенно отвечает то, чего на самом деле нет.

Что это

Галлюцинация ИИ — это когда языковая модель уверенно отвечает то, чего на самом деле нет: выдуманную цену, несуществующий срок доставки, условие, которого никто никогда не писал. Название взято из психиатрии не случайно: как и галлюцинация у человека, такой ответ модель не отличает от настоящего — она не знает, что придумывает, потому что у неё нет отдельного «знаю» и «выдумываю», есть только более или менее вероятное продолжение фразы.

Это не похоже на обычную ошибку в тексте. Опечатку видно сразу, а выдуманный ответ звучит так же гладко и уверенно, как правильный — и именно поэтому его труднее всего заметить, если не проверять факт отдельно.

Пример

Ответ звучит уверенно, но если такого правила нигде не было — ни на сайте, ни в базе знаний, — модель просто собрала правдоподобную фразу из общей логики «доставка обычно укладывается в несколько дней». Клиент об этом не узнает, пока не столкнётся с реальным сроком.

Что с этим делает хороший чат

Полностью убрать галлюцинации нельзя — это свойство того, как модель вообще устроена, а не брак в конкретном чате. Но риск снижают три вещи: отвечать только тем, что есть в базе знаний, а не общими знаниями о мире; заранее закрывать темы вроде возвратов и юридических вопросов; и передавать разговор человеку, когда уверенности недостаточно, вместо того чтобы выбрать более гладкий на вид, но непроверенный ответ.

Подробный разбор трёх причин, из-за которых модель начинает выдумывать, и как проверить свой чат на такие ответы, — в статье почему ИИ выдумывает ответы.