Перейти к содержимому

product · industry

Почему мой ИИ так ответил? Как найти и исправить неверный ответ

Как Maya находит правило или информацию о бизнесе, из-за которых появился плохой ответ, тестирует исправление на примерах сообщений и проверяет его ещё раз, прежде чем его увидит хоть один клиент.

Entagl Team7 мин. чтения
Почему мой ИИ так ответил? Как найти и исправить неверный ответ

Когда ваш ИИ-ассистент даёт клиенту неверный ответ, причина обычно одна из двух: правило в его инструкциях или фрагмент информации о бизнесе, который он прочитал. Спросите Maya «почему мой ИИ так ответил?», и она прочитает разговор, найдёт, в чём было дело, и предложит исправление, которое можно протестировать на примерах сообщений, прежде чем его увидит хоть один клиент. В опросе Gartner среди 3 566 клиентов, проведённом в начале 2026 года, лишь 27% сказали, что снова попробуют чат-бота после плохого опыта.

Что смотрит Maya, когда вы спрашиваете, почему ИИ так сказал?

Больше, чем показывают входящие. Ваши ИИ-сотрудники сохраняют запись о том, как был построен каждый ответ, и Maya читает её вместе с сообщениями (краткая версия есть на странице Maya):

  1. Она находит разговор по имени клиента, каналу или примерному времени: «Ахмед, Instagram, на этой неделе».
  2. Она читает след каждого ответа ИИ: какая часть вашего ассистента ответила, что она искала, что нашлось, какой язык был определён и отметила ли что-нибудь финальная проверка качества.
  3. Она называет причину, вплоть до конкретного правила или фрагмента информации.
  4. Она предлагает исправление в виде карточки с вариантами «до» и «после». По умолчанию ничего не меняется, пока вы его не одобрите.

Откуда обычно берутся неверные ответы?

Большинство плохих ответов укладываются в несколько типичных сценариев.

Что увидел клиент Обычная причина Что предлагает Maya
Старую цену Цена, вписанная в правила ассистента, которая больше не совпадает с вашим прайс-листом Уточнить, какая цена верная, а затем убрать вписанную цену, чтобы ИИ читал ваш прайс-лист, или исправить её
Обещание, которого вы не даёте Слишком широко сформулированное правило или два противоречащих правила Сузить правило или убрать одно из двух
Ответ там, где чат нужно было передать вам Нет правила передачи человеку для этой темы Добавить тему в правила передачи
«Я не уверен» на простой вопрос Этой информации нет в данных о бизнесе Добавить FAQ, услугу или недостающую деталь

Первую строку легко упустить: вы обновляете прайс-лист и забываете о цене, вписанной в правила. Maya может просканировать инструкции вашего ассистента именно на такое и отметить цены, часы работы и контакты, вписанные вручную, хотя они должны браться из данных о бизнесе. Вторую половину описывает наше руководство о том, как поддерживать цены, услуги и FAQ актуальными через чат.

Два расходящихся источника истины дорого обошлись Air Canada в деле Moffatt v. Air Canada (2024). Чат-бот компании сказал скорбящему клиенту, что тот может оформить тариф для поездок в связи с утратой близкого уже после перелёта; собственная страница авиакомпании об этом тарифе говорила, что нельзя. Трибунал признал авиакомпанию ответственной за всё на её сайте, включая чат-бота, и обязал выплатить CA$812,02, из которых CA$650,88 составило возмещение ущерба.

Как выглядит исправление в чате?

Пример (имя и цены вымышленные):

Вы: Почему ИИ назвал Ахмеду старую цену? Отбеливание теперь стоит $180.

Maya: Я нашла его чат в Instagram за вторник. В вашем прайс-листе указано $180, но в правилах ассистента всё ещё написано «отбеливание зубов стоит $150». Я могу удалить эту строку, чтобы он всегда брал цену из прайс-листа, или заменить её на $180. Как лучше? Сначала я это протестирую.

Вы: Удали её и протестируй.

Maya: Я прогнала через вашего ассистента вопрос «сколько стоит отбеливание зубов?» с этим изменением. Теперь он отвечает $180. Вот изменение на ваше одобрение.

Карточка показывает удаляемую строку. Одобрите её, отклоните или скажите Maya, что поправить. Подробнее об изменении правил в материале о том, как менять ответы ИИ-ассистента одной просьбой.

Как протестировать исправление до того, как его увидят клиенты?

Тестовые прогоны по вашей просьбе. Скажите «Проверь: клиент просит вернуть деньги через 30 дней», и Maya прогонит это сообщение через вашего действующего ассистента и покажет вам ответ. Ничего не отправляется, ничего не бронируется, а сам тестовый прогон не тарифицируется. Можно протестировать короткий диалог или спросить «а что, если изменить это правило?» ещё до того, как появится какое-либо изменение.

Проверять изменения, настройка, которая по умолчанию включена. Когда Maya показывает вам карточку изменения, она сначала его тестирует: повторно прогоняет тестовое сообщение с применённым изменением и проверяет, что ответ делает то, о чём вы просили. На карточке написано «Тестирование…», и одобрить её нельзя, пока тест не закончится. Где возможно, она также прогоняет несколько ваших реальных недавних сообщений от клиентов, чтобы поймать исправление, которое портит ответы, бывшие нормальными. Исправление для ответа, который не понравился, тестируется на том самом реальном сообщении, где всё пошло не так. Это расходует кредиты на обучение; выключить проверку можно в настройках Maya, хотя мы бы её оставили.

Правки правил проходят ещё одну проверку: прежде чем карточка дойдёт до вас, Maya просматривает весь набор ваших инструкций на дублирующиеся или противоречащие правила. А в режиме «Просто сделай» (в приложении «Обход») изменение, не прошедшее тест, всё равно ждёт вас.

Можно ли начать с ответа, который вам не понравился?

Да, и часто это самый быстрый путь. Поставьте ответу «палец вниз» во входящих и напишите строчку о том, что было не так. После этого он появится в списке «Обратная связь» на странице вашего ИИ-сотрудника с кнопкой Решить с помощью AI (пока в бета-версии). Нажмите её, и Maya откроет чат, в котором уже есть разговор и ваша заметка, затем проследит путь ответа и предложит протестированное исправление. Удобно, когда входящие читает коллега: он отмечает проблему, а вы разбираетесь с ней позже.

Что происходит с клиентом, который получил неверный ответ?

Maya исправляет ассистента, а не прошлый разговор. Она никогда не пишет клиентам сама, поэтому, если Ахмеду нужно уточнение, ответьте ему из входящих вы или ваша команда; это то же правило, что и когда Maya создаёт, переносит или отменяет записи.

Изменения в том, как отвечает ваш ассистент, сохраняются как версии. Если исправление окажется хуже самой проблемы, попросите Maya вернуться к предыдущей версии.

Чего Maya здесь не может?

  • Написать клиенту, которого это коснулось. Это остаётся за вами и вашей командой.
  • Протестировать телефонный звонок. Тестовые прогоны идут текстовыми сообщениями. Она может читать расшифровки звонков, но не может имитировать звонок.
  • Обещать идеальный результат. Тест охватывает несколько сообщений, а ответы ИИ бывают разными, поэтому следите за следующими реальными чатами на эту тему.
  • Придумывать недостающую информацию. Если правильного ответа нет в данных о бизнесе, она спросит его у вас.
  • Запустить автоматический тест, когда кредиты на обучение закончились. Он пропускается, и на карточке это указано.

О методе, который за этим стоит, читайте в наших руководствах о том, как писать инструкции для ИИ-агента и как не дать ИИ-агентам галлюцинировать.

Есть ответ, который хочется понять? Напишите Maya в WhatsApp, назовите имя клиента и что пошло не так.

FAQ

Отправляет ли тестирование исправления что-нибудь моим клиентам?

Нет. Тестовые прогоны используют вымышленный разговор, поэтому до клиента ничего не доходит и ничего не бронируется и не заказывается.

Тратит ли кредиты вопрос к Maya о том, почему ИИ так сказал?

Общение с Maya, как обычно, расходует кредиты тарифа. Тестовые прогоны по вашей просьбе сверху не тарифицируются; автоматическая проверка «Проверять изменения» расходует кредиты на обучение.

Кто в моей команде может это делать?

Владелец, администраторы и участники команды, которым дано право доступа к Maya.

Можно ли делать это из WhatsApp?

Да. Напишите Maya имя клиента и что было не так. Исправление, которое не прошло тест, приходит не кнопкой Approve в одно нажатие, а ссылкой Review на приложение.

Источники: Gartner, «Only 27% of Customers Would Try a Chatbot Again After a Negative Experience» (сентябрь 2026 года); Moffatt v. Air Canada, 2024 BCCRT 149.

Другие руководства по Maya

Опубликовано Entagl Team on