Перейти к содержимому

A/B-тестирование ИИ-ассистента

Проверяйте, какие результаты для бизнеса дают разговоры с ИИ.

Попробуйте изменение с реальными клиентами, прежде чем применять его к основным настройкам. Выберите одну измеримую цель, распределите подходящих участников между сохранёнными версиями и изучите данные вместе с командой.

Пример для клиники

Помогает ли более раннее сообщение цены получить больше подтверждённых бронирований?

Подходящие новые разговоры в выбранном подключённом аккаунте

A · Сохранённая исходная версия50 %

Сначала выясните потребности

Спросите, что интересует пациента. Объясните услугу, затем обсудите цену и бронирование.

Заданное распределение трафика

B · Тестовая версия50 %

Сообщайте цену раньше

Раньше сообщите утверждённую информацию о ценах, затем помогите пациенту выбрать вариант записи.

Заданное распределение трафика

Основная цель

Подтверждённые бронирования

Редактируйте B в текущем конструкторе ассистента. Основные настройки продолжают работать до запуска теста.

Пример построения теста. Результаты клиентов не показаны. Настройка 50/50 не гарантирует одинаковое число участников или сообщений.

Сравнивайте ответы ассистента

Сохраните исходную версию как A. Измените тестовую копию B в разделах «Поток агента» или «Конструктор агентов». Попробуйте другой первый вопрос, инструкции или модель для выбранного подключённого аккаунта, виджета сайта или целевого API.

Измеряйте вклад повторных сообщений

Проведите отдельный тест с включёнными или выключенными автоматическими повторными сообщениями от ИИ. Отказы клиентов от сообщений, приостановки ИИ и правила каналов по-прежнему действуют. Сотрудники могут продолжать помогать клиентам.

Тестируйте отображение чата на сайте

Сравнивайте три варианта для подходящих посетителей, которые дали согласие: только кнопка чата, приветственное сообщение или автоматическое открытие. Открытие панели посетителем не считается началом разговора.

В вашей рабочей области

Узнайте, какие изменения в работе ассистента помогают клиентам сделать следующий шаг.

  1. Откройте A/B-тесты в разделах «Поток агента» или «Конструктор агентов». Выберите тип теста и подключённый аккаунт, виджет сайта или целевой API.
  2. Сохраните исходные настройки. Измените тестовую версию в привычном конструкторе и проверьте изменения.
  3. Выберите одну основную цель, период её измерения и фиксированное распределение трафика. Задайте, когда завершить тест: через определённое число дней, после достижения заданного числа участников или вручную.
  4. Запустите тест. Каждому новому подходящему участнику назначается одна версия. Отдельные сообщения одного участника не распределяются между разными версиями.
  5. Изучите зарегистрированные результаты и подтверждающие их разговоры. Дайте текущим участникам время завершить свой период измерения.
  6. Выберите, какую версию оставить. Примените проверенную версию или восстановите сохранённую исходную, если текущий аккаунт или сайт и необходимые связи это позволяют.

Что будет дальше

В истории теста хранятся сохранённые версии, различия, цель, даты, зарегистрированные показатели и ваше решение. Вы можете изучить данные позже и повторно использовать сохранённую версию после проверки текущих настроек.

Что нужно знать перед началом

Тесты доступны в платных рабочих пространствах Receptionist, где эта функция включена, с учётом прав команды. Трафик распределяется в выбранном вами фиксированном соотношении. Система не меняет его автоматически и не применяет победившую версию сама. Использование ИИ по-прежнему расходует кредиты. Недостаток данных может помешать выдаче рекомендации, а тест может не дать однозначного результата.

Ответы на ваши вопросы

Какие цели можно измерять?

Доступные цели зависят от типа теста и подключённых инструментов. Например, можно измерять достижение заданного числа ответов клиента, запросы на бронирование, подтверждённые бронирования, получение контактных данных, завершение сбора данных, передачи команде, созданные и оплаченные заказы. Выберите результат до запуска. Запрос не означает подтверждение.

Означает ли 50/50, что каждая версия получает ровно половину сообщений?

Нет. Заданное соотношение применяется к подходящим участникам, а не к отдельным сообщениям. Фактические числа могут различаться, и каждый участник может отправить разное количество сообщений.

Можно ли изменить B, не затрагивая работающего ассистента?

Да. Пока вы меняете B в разделах «Поток агента» или «Конструктор агентов», версия остаётся в черновике теста. Проверьте и сохраните изменения, затем вернитесь к настройкам теста перед запуском.

Выберет ли система победителя автоматически?

Нет. Соотношение трафика остаётся фиксированным. Вы сами выбираете, какую версию использовать. Если вы зададите время завершения, тест может вернуть обычную маршрутизацию или использовать версию, которую вы явно выбрали, после проверки аккаунта или сайта и необходимых связей.

Можно ли просматривать результаты на телефоне?

Да. Мобильное приложение поддерживает просмотр результатов и доступные вам действия с тестом. Создавайте и редактируйте тесты в веб-версии.

Читайте практические руководства

Связанные возможности

Изучить продукт