Тестирование ИИ-ассистента для поддержки клиентов

Вы можете проверить своего ИИ-ассистента так, как это сделал бы клиент, ещё до того, как он начнёт отвечать живым людям: Maya, ИИ-бизнес-менеджер внутри Entagl, пишет тестовые вопросы на основе вашего бизнеса и реальных чатов, прогоняет их и оценивает каждый ответ по правилам, которые вы можете прочитать. Один неверный ответ обходится дороже, чем кажется. В опросе Gartner среди 3 566 клиентов, опубликованном в сентябре 2026 года, лишь 27% клиентов сказали, что снова попробуют чат-бот компании после негативного опыта, а Gartner посоветовал руководителям клиентского сервиса «ставить надёжность выше охвата».

В этом руководстве: что такое тест, откуда берутся вопросы, как оцениваются ответы, сколько стоит прогон и что делает Maya, когда тест не пройден.

Что такое тест в Maya?

Тест состоит из короткого разговора, который мог бы начать клиент, и правил, которым должен соответствовать хороший ответ. В нём от одного до шести сообщений клиента и любые из этих проверок:

Правило	Пример
Должен упомянуть	«Называет цену первой консультации»
Не должен говорить	«скидка 50%»
Должен спросить	«Удобный для клиента день»
Передать человеку	Да, нет или неважно
Рекомендации	«Дружелюбно, не больше трёх предложений»
Одобренный ответ (необязательно)	Ответ, который вы уже признали верным

Каждый тест проходит в одном канале (в WhatsApp, если вы не выберете другой), поэтому ответ оценивается так, как его увидел бы этот клиент.

Тесты никогда не доходят до клиентов. Действия, которые выполнил бы ваш ИИ, например запись, только имитируются, и ничего не сохраняется. По-настоящему выполняется лишь поиск по вашим файлам знаний, поэтому тест проверяет то, что ваш ассистент действительно нашёл бы.

Откуда берутся тестовые вопросы?

Тесты можно писать самому, но это не обязательно. Попросите Maya, и она напишет их на основе одного из двух источников:

Типичные вопросы (по умолчанию): то, что обычно спрашивают клиенты бизнеса вроде вашего, с опорой на ваши собственные услуги, цены и FAQ.
Ваши реальные переписки: выборка самых недавних чатов за последние 7, 30, 90, 180 или 365 дней.

Ещё она может превратить в тесты ответы, которые вам не понравились, и оценки клиентов в три звезды и ниже. Если два отзыва противоречат друг другу, она следует более новому и помечает такой тест, чтобы вы его проверили. Адреса email, номера телефонов, ссылки и имена пользователей удаляются ещё до того, как что-либо станет тестом.

Вы: Создай 10 тестов по моим реальным перепискам за последние 30 дней и запусти их.

За раз она пишет до 20 тестов, а в рабочем пространстве можно хранить до 100. Свои тесты можно добавлять и редактировать в настройках Maya в разделе Тестовые сценарии или просто попросить:

Вы: Добавь тест: если кто-то просит скидку, никогда не говори «скидка 50%» и передавай его человеку.

Как оценивается каждый ответ?

Для некоторых правил ИИ-судья не нужен, поэтому он их и не проверяет:

Возьмите точные слова правила «не должен говорить» в кавычки. Если они появятся в ответе, тест не пройден.
Передал ли ассистент чат человеку, определяется по тому, что он на самом деле сделал, а не по тому, что он написал.

Остальное оценивает ИИ-судья. Чтобы правило засчитали как выполненное, судья должен указать, что именно сказано в ответе, а Maya проверяет, что эта цитата там действительно есть. Если судья не уверен, результат получает отметку Неясно и никогда не засчитывается как пройденный. Это сделано намеренно: тест, который молча проходит, когда не должен, хуже теста, который просит вас взглянуть.

Сколько стоит прогон тестов?

Небольшие прогоны начинаются сразу. Для всего, что больше, сначала называется цена:

Прогон из пяти тестов или меньше начинается сразу.
Для прогона больше чем из пяти тестов сначала называется цена в кредитах, и он начинается только после вашего согласия.
Цена написания новых тестов тоже называется заранее.

Каждый прогон списывает столько, сколько реально израсходовал, а когда расход достигает трёхкратной оценки, прогон перестаёт запускать новые тесты. Во время настройки ваши первые прогоны бесплатны (до 40 тестов, один раз на рабочее пространство), и Maya готовит там от 8 до 12 примеров вопросов. Она кратко подводит итоги в чате и присылает PDF, если вам нужны подробности (как устроена настройка).

Могут ли тесты запускаться сами?

Да, двумя способами.

После изменения. Когда Maya меняет для вас FAQ, услугу, цену или сведения о бизнесе, она заново запускает тесты, которые затрагивает это изменение. Это включено по умолчанию, и сама она запускает до пяти тестов и тратит до 10 кредитов в день. При изменении инструкций или тона, а также для более крупных проверок она сначала спрашивает вас.

По расписанию. Выберите периодичность и время:

Вы: Запускай мои тесты каждый понедельник в 9.

Можно выбрать каждый день, по будням, раз в неделю или раз в месяц (с 1-го по 28-е число). Maya называет стоимость за запуск и за месяц, и расписание начинает работать после вашего согласия. Если позже вы добавите тесты и запуск будет стоить больше чем в полтора раза дороже согласованного, этот запуск пропускается с пометкой, а не списывает с вас больше. Запуск также пропускается с пометкой, если у вас закончились кредиты.

Каждый запуск заканчивается отчётом в вашем чате с Maya, с PDF и уведомлением в приложении и на телефоне (и в WhatsApp, если вы его подключили).

Что происходит, когда тест не пройден?

Нажмите Попросить Maya исправить на непройденном результате. Maya откроет чат об этом результате и будет искать причину, опираясь на ту самую версию теста, которая оценивалась:

Если ошибся ваш ассистент, она предлагает изменение: инструкцию, FAQ, цену. Оно приходит к вам карточкой одобрения, как любое изменение из материала Меняйте ответы ИИ-ассистента одной просьбой.
После вашего одобрения она предлагает заново запустить только этот тест.
Если ошибся сам тест (ваш бизнес изменился или правило было слишком строгим), она предлагает изменить тест.

Без вашего одобрения ничего не меняется, если только вы не перевели Maya в режим Просто сделай. Если неверный ответ уже получил реальный клиент, шаги описаны в материале Почему мой ИИ так ответил?

Где можно запускать тесты?

Запускать тесты и управлять ими можно из чата с Maya в вебе или в мобильном приложении Entagl, из раздела Тестовые сценарии в настройках Maya или в переписке с Maya в WhatsApp.

Какие есть ограничения?

Только переписка. Тесты проверяют вашего ассистента для переписки (Receptionist). Тесты для голосовых звонков пока не поддерживаются.
Не бесплатно после настройки. Прогоны расходуют кредиты, а для прогонов больше пяти тестов цена называется заранее.
Судья может сомневаться. Некоторые результаты приходят с отметкой «Неясно». Откройте их и решите сами.
Никакой тревоги при неудаче. Непройденный прогон по расписанию отражается в его отчёте, а не в срочном уведомлении.
Тест показывает выборку, а не даёт гарантию. Он проверяет те вопросы, которые вы тестируете. Продолжайте добавлять тесты из реальных переписок по мере того, как меняется ваш бизнес. План более широкого запуска описан в материале о том, как запустить ИИ-агента и не потерять клиентов.

Начните с десяти. Напишите Maya в WhatsApp и скажите «напиши 10 тестов по моим чатам за последние 30 дней».

FAQ

Отправляет ли тестирование что-нибудь моим клиентам?

Нет. Тесты выполняются в изолированной среде. Никому ничего не отправляется, а действия вроде записей имитируются и не сохраняются.

Может ли Maya сама исправить непройденный тест?

По умолчанию нет. Она находит причину и предлагает исправление, и оно приходит к вам карточкой одобрения, если только вы не переключили её в режим Просто сделай. После вашего одобрения она может заново запустить тест.

Со скольких тестов начать?

Хорошее начало: от десяти до двадцати тестов, ведь Maya пишет до 20 за раз. Прогоны из пяти тестов или меньше начинаются без предварительной цены, а несколько ключевых вопросов на ежедневном расписании стоят немного. Цену расписания Maya называет один раз, когда вы его настраиваете.

Можно ли так протестировать голосового ассистента?

Пока нет. Тестовые сценарии охватывают вашего ассистента для переписки. У голосового ассистента во время настройки есть свой тестер, где всё можно попробовать вживую, а наше руководство по тестированию ИИ-агента для телефонных звонков рассказывает, как его проверить.

Другие руководства по Maya

Источники: Gartner, «Gartner Survey Finds Only 27% of Customers Would Try a Chatbot Again After a Negative Experience», 2 сентября 2026 года. Детали продукта проверены в ноябре 2026 года.