Почему ИИ выдумывает ответы

14 июня 2026

Модель не врёт специально и не знает, что говорит неправду. Разбираем, откуда берутся уверенные выдумки и как их ограничить в чате поддержки.

Что происходит, когда ИИ выдумывает

Языковая модель не хранит факты в таблице, к которой можно обратиться и свериться. Она обучена продолжать текст: видит вопрос и подбирает слова, которые обычно идут следом в похожих текстах. Когда вопрос звучит конкретно — «сколько стоит доставка в область» — модель выдаёт такой же конкретный по форме ответ, даже если самого числа применительно к вашей компании она никогда не видела.

Это не обман в привычном смысле: модель не знает, что говорит неправду, потому что у неё нет отдельного «знаю» и «придумываю» — есть только более или менее вероятное продолжение фразы. В словаре терминов это явление называется «галлюцинацией», и оно ровно об этом: ответ звучит уверенно, а фактов за ним нет.

Три причины, по которым это случается в поддержке

Вопроса нет в базе. Если у модели нет подходящего куска текста для ответа, а инструкция требует ответить, она заполняет пробел правдоподобно звучащими деталями — датой, суммой, условием, которых на самом деле нигде не было написано.

В базе противоречие. Две записи по-разному называют одну и ту же цену или срок — например, старая и новая версия прайса не удалены обе. Модель не умеет понять, какая запись актуальнее, и может смешать обе или уверенно выбрать неверную.

Вопрос слишком общий. «А сколько это в итоге будет стоить» без деталей заставляет модель собрать ответ из нескольких похожих кусков базы, и получившийся синтез может звучать как конкретная цифра, которой на самом деле нигде не было — она получилась «на стыке» источников.

Пример второй причины: в базе осталась старая запись «доставка — 500 ₽» и новая «доставка — 700 ₽ с апреля», обе не удалены. На вопрос о цене доставки чат может назвать любую из двух цифр с одинаковой уверенностью — с его стороны обе выглядят как факт из базы, различить их по актуальности он не умеет.

Что реально ограничивает выдумки

Три рабочих ограничителя, и все три настраиваются один раз, вместе с базой знаний, как описано в статье об обучении чата по сайту:

• Отвечать только тем, что есть в базе знаний, а не общими знаниями модели о мире — если ответа нет, чат должен сказать об этом, а не досочинять.
• Явно запрещать темы. Возвраты денег, юридические вопросы, медицинские рекомендации можно заранее исключить, чтобы чат не пытался ответить на них своими словами.
• Передавать разговор человеку, когда уверенности недостаточно, вместо того чтобы выбирать более правдоподобный на вид, но не проверенный ответ.

О том, как выглядит эта остановка со стороны клиента, написано на странице возможностей: чат не выдумывает, а зовёт сотрудника и честно об этом говорит.

Как проверить свой чат на выдумки за 20 вопросов

Возьмите двадцать вопросов, которые клиенты реально задавали за последний месяц — не выдуманных для теста, а из переписки менеджеров. Задайте их чату по одному и смотрите на три вещи:

• Конкретные цифры или даты, которых нет на сайте — верный признак, что чат досочинил число.
• Разные ответы на один и тот же вопрос, заданный двумя формулировками подряд — если ответы расходятся, модель собирает их на ходу, а не берёт из одного источника.
• Гладкий ответ на тему, которая должна была уйти человеку — возврат денег, скидка, юридический вопрос. Если чат ответил сам вместо того, чтобы позвать сотрудника, ограничитель не настроен.

Что делать, если поймали чат на выдумке

Разбирайтесь по порядку причин, а не по одной догадке. Проверьте, есть ли в базе сам факт — если нет, допишите короткую точную запись. Проверьте, нет ли двух записей с разными цифрами по одной теме — если есть, устаревшую удалите. И если тема в принципе не должна доставаться чату, запретите её явно, чтобы такие вопросы уходили человеку сразу, а не заканчивались нащупанным ответом.

Чаще всего это правка на пять минут, а не повод менять сервис или ждать более умную модель. Выдумка почти всегда указывает не на модель, а на дыру в базе знаний — и закрывается там же, где обнаружена.

Ограничения подхода

Даже при всех трёх ограничителях модель может спутать две похожие записи в базе — например, два тарифных плана с близкими названиями — и смешать их условия. Полностью исключить такую ошибку нельзя: языковая модель работает с вероятностями, а не с гарантиями. Поэтому передача сложных вопросов человеку — не запасной вариант на крайний случай, а часть архитектуры, которая снижает цену отдельной ошибки.

Проверить свой чат на выдумки