Галлюцинация ИИ

Галлюцинация ИИ — это когда модель уверенно отвечает то, чего на самом деле нет.

Что это

Галлюцинация ИИ — это когда языковая модель уверенно отвечает то, чего на самом деле нет: выдуманную цену, несуществующий срок доставки, условие, которого никто никогда не писал. Слово взято из психиатрии не случайно. Как и галлюцинация у человека, такой ответ модель не отличает от настоящего: отдельных состояний «знаю» и «выдумываю» у неё нет, есть только более или менее вероятное продолжение фразы. Она и не в курсе, что сочинила.

На обычную ошибку в тексте это не похоже. Опечатку видно сразу, а выдуманный ответ звучит так же гладко и уверенно, как правильный. Заметить его можно, только проверив сам факт отдельно.

Пример

Звучит уверенно. Но если такого правила нигде не было, ни на сайте, ни в базе знаний, модель просто собрала правдоподобную фразу из общей логики «доставка обычно укладывается в несколько дней». Клиент узнает об этом, когда столкнётся с реальным сроком.

Что с этим делает хороший чат

Убрать галлюцинации совсем нельзя: так устроена модель, а не сломан конкретный чат. Но риск падает, если чат отвечает только тем, что лежит в базе знаний, а не общими знаниями о мире. Помогает и заранее закрыть темы вроде возвратов и юридических вопросов. И отдельно — правило звать человека, когда уверенности не хватает, вместо того чтобы выдать гладкий на вид, но непроверенный ответ.

Три причины, по которым модель начинает выдумывать, и способ проверить на них свой чат — в статье почему ИИ выдумывает ответы.