Войти Подключить бесплатно

Почему ИИ выдумывает ответы

Модель не врёт специально и не знает, что говорит неправду. Разбираем, откуда берутся уверенные выдумки и как их ограничить в чате поддержки.

Что происходит, когда ИИ выдумывает

Языковая модель не хранит факты в таблице, к которой можно обратиться и свериться. Она обучена продолжать текст: видит вопрос и подбирает слова, которые обычно идут следом в похожих текстах. Спросили конкретно: «сколько стоит доставка в область». Ответ получится такой же конкретный по форме. Даже если самого числа применительно к вашей компании модель никогда не видела.

Обманом в привычном смысле это не назвать. У модели нет отдельно «знаю» и отдельно «придумываю», есть только более или менее вероятное продолжение фразы. В словаре терминов такое поведение названо галлюцинацией: ответ звучит уверенно, а фактов за ним нет.

Три причины, по которым это случается в поддержке

Вопроса нет в базе. Подходящего куска текста у модели нет, а инструкция требует ответить. Пробел заполняется правдоподобными деталями — датой, суммой, условием, которых нигде не было написано.

В базе противоречие. Две записи по-разному называют одну и ту же цену или срок: например, старая и новая версия прайса лежат рядом, и ни одну не удалили. Понять, какая свежее, модель не умеет. Может смешать обе, может уверенно взять неверную.

Вопрос слишком общий. «А сколько это в итоге будет стоить» без деталей заставляет собирать ответ из нескольких похожих кусков базы. Получившийся синтез звучит как точная цифра, хотя цифра родилась на стыке источников.

Как выглядит вторая причина живьём: в базе осталась запись «доставка — 500 ₽» и рядом новая «доставка — 700 ₽ с апреля». На вопрос о цене чат назовёт любую из двух с одинаковой уверенностью: для него обе одинаково факт, отличить свежую от протухшей он не может.

Что реально ограничивает выдумки

Три рабочих ограничителя, и все три настраиваются один раз, вместе с базой знаний, как описано в статье об обучении чата по сайту:

Как эта остановка выглядит со стороны клиента, показано на странице возможностей: чат зовёт сотрудника и честно об этом говорит.

Как проверить свой чат на выдумки за 20 вопросов

Возьмите двадцать вопросов, которые клиенты реально задавали за последний месяц — не выдуманных для теста, а из переписки менеджеров. Задайте их чату по одному и смотрите на три вещи:

Что делать, если поймали чат на выдумке

Идите по порядку причин, а не по первой догадке. Проверьте, есть ли в базе сам факт — если нет, допишите короткую точную запись. Посмотрите, нет ли двух записей с разными цифрами по одной теме. Устаревшую удалите. И если тема в принципе не должна доставаться чату, запретите её явно: такие вопросы будут уходить человеку сразу, а не заканчиваться нащупанным ответом.

Чаще всего это правка на пять минут. Менять сервис или ждать модель поумнее обычно незачем: выдумка почти всегда показывает дыру в базе знаний и закрывается там же, где нашлась.

Где ограничители всё равно не спасают

Даже со всеми тремя модель может спутать две похожие записи, скажем два тарифа с близкими названиями, и смешать их условия. Убрать такую ошибку полностью нельзя: языковая модель работает с вероятностями, гарантий она не даёт. Поэтому передачу сложных вопросов человеку стоит держать включённой всегда, а не как аварийную кнопку: она снижает цену любой отдельной ошибки.

Проверить свой чат на выдумки

Частые вопросы

Это можно исправить полностью?

Нет, у любой языковой модели остаётся шанс ошибиться на пограничном вопросе — ограничители снижают риск, но не убирают его целиком.

Чем это отличается от обычной ошибки в тексте?

Обычная ошибка заметна — опечатка или нелепая фраза. Выдуманный ответ звучит так же уверенно и грамотно, как правильный, и его труднее поймать.

Частые выдумки — значит чат сломан?

Чаще это значит, что в базе знаний не хватает конкретики или там остались противоречащие друг другу записи — начать проверку стоит с них.

Читайте дальше