A/B-тесты ИИ-администратора: руководство

A/B-тест ИИ-администратора сравнивает сохранённые версии по одному и тому же заранее заданному результату. Прежде чем выбирать победителя, нужны надёжные данные об участниках: по данным Microsoft, в одном историческом анализе примерно в 6% тестов наблюдалось несоответствие долей выборки, то есть фактическое распределение аудитории отличалось от запланированного. Это урок о корректности измерений, а не показатель ошибок Entagl. Microsoft Research

Новый вопрос в начале разговора может лучше звучать в предварительном просмотре. Но помогает ли он реальным клиентам завершить бронирование, это уже другой вопрос.

Когда эксперименты включены в вашем платном рабочем пространстве Receptionist, вы можете сравнить изменение с заранее заданным бизнес-результатом. Доступ зависит от вашего рабочего пространства и разрешений команды. Примеры ниже гипотетические и не являются результатами клиентов.

Что проверить в первую очередь?

Выберите решение, которое вы действительно приняли бы иначе, увидев результаты. Клиника может сравнить вопрос о предпочтительном дне с вопросом о нужной клиенту услуге. Магазин может сравнить краткую рекомендацию товара с вопросом, помогающим сузить выбор.

Сформулируйте гипотезу простыми словами: «Если сначала спросить, какая услуга нужна клиенту, а потом предложить время, число подтверждённых бронирований вырастет». До начала теста выберите один основной результат. Если ваша реальная цель состоит в подтверждении, не подменяйте её незаметно числом сообщений только потому, что оно выглядит убедительнее.

Не меняйте остальные элементы взаимодействия. Если одновременно изменить предложение, модель, инструкции и правила последующих сообщений, тест может показать, работает ли весь набор изменений, но не позволит определить, какое именно изменение повлияло на результат. Записывайте внешние изменения, например новую акцию или смену графика сотрудников, чтобы позже учесть их при интерпретации результатов.

В нашем руководстве о том, как обучить агента на знаниях о бизнесе, описано, что агенту нужно знать. Эксперимент показывает, что происходит, когда вы меняете способ применения этих знаний.

Как Receptionist разделяет версии?

Работа в веб-интерфейсе начинается с холста агента. Откройте A/B-тесты, выберите конкретный подключённый аккаунт или поддерживаемую целевую веб-страницу, затем создайте черновик. Вариант A сохраняет исходную конфигурацию. Вариант B представляет собой её экспериментальную копию. Вы можете проверить изменения, не назначая черновик текущей конфигурацией аккаунта.

Тест для одного подключённого аккаунта не меняет настройки всего рабочего пространства. Проверьте отображаемое название аккаунта, дескриптор или номер, особенно если несколько аккаунтов используют один источник данных. Настройки отображения сайта могут применяться к нескольким встраиваемым элементам, поэтому перед применением результата проверьте, какие именно элементы он затронет.

Задайте фиксированное распределение трафика. Это соотношение остаётся неизменным на протяжении всего теста: трафик не перераспределяется автоматически в пользу версии, которая в данный момент лидирует. Фактическое число участников не обязательно будет точно соответствовать заданным процентам. Число сообщений учитывается отдельно, поскольку один участник может отправить несколько сообщений.

В тесте отдельно сохраняются проверяемая конфигурация и назначенный вариант, а также сведения о том, что фактически произошло. Если доставка не удалась или использовался запасной сценарий, это должно оставаться видимым в данных. Исключив таких участников, вы представили бы опыт клиентов лучше, чем он был на самом деле.

Какой тип теста ответит на ваш вопрос?

Вопрос	Тип теста	Что остаётся неизменным
Поможет ли другое поведение агента?	Две сохранённые версии конвейера	Правила последующих сообщений не меняются
Помогают ли повторные обращения с помощью ИИ?	Последующие сообщения включены или выключены	Сообщения сотрудников и не связанные с тестом кампании не отключаются
Как должен отображаться чат на сайте?	Кнопка запуска, приветственный блок или автоматическое открытие	Содержание чата и предложение остаются неизменными

Это разные эксперименты. Тест инструкций для диалога не доказывает, что автоматическое последующее сообщение помогает. Тест начальной панели не доказывает, что диалог о бронировании стал лучше.

В тестах последующих сообщений учитывайте все назначенные подходящие диалоги. Если считать только тех, кому сообщение успешно отправлено, вы исключите сбои и измените сам вопрос теста. По-прежнему действуют отписки, передача диалога сотруднику, ограничения каналов, проверки финансирования и правила приостановки ИИ.

Что делает результат пригодным для принятия решения?

Одного большего числа на экране недостаточно. Проверьте, успели ли участники достичь выбранного результата, исправно ли работал сбор данных и достаточно ли заметна разница для вашего бизнеса.

Receptionist использует записанные события, а не оценку ИИ-модели о том, был ли разговор успешным. Ожидающие и неизвестные результаты сохраняются. Клиент, у которого ещё не завершилось окно измерения, не считается автоматически неуспешным, а отсутствие данных не равно нулю.

Остановка набора участников также не означает, что измерение завершено. Люди, уже распределённые по вариантам, всё ещё могут завершить бронирование в отведённое им время. Перед показом завершённого результата экран должен отображать период сбора данных.

В рекомендациях Microsoft различаются частый мониторинг для выявления вредных последствий и окончательное решение по завершении запланированного теста. Это важно и для ИИ-администратора: при необходимости остановите неработающий сценарий, но не объявляйте победителя лишь потому, что он немного опережает другой на небольшом объёме данных. Microsoft Research

Как сохранить изменение или отменить его?

Проверьте сохранённые различия и подтверждающие их диалоги. В эксперименте действие Использовать как основной выполняется намеренно и сопровождается проверкой целевого объекта. В истории теста сохраняются конфигурация, даты, результаты и принятое решение. Восстановить сохранённый вариант A и вернуться к унаследованной маршрутизации это разные действия: первое восстанавливает конкретную сохранённую версию, второе применяет текущее правило маршрутизации родительского элемента.

Неопределённый результат может так и остаться неопределённым. Он может подсказать, что стоит собрать дополнительные данные в новом запуске, выбрать более существенное практическое изменение или оставить исходную версию. Он не обязывает внедрять вариант B.

Это продолжает подход к контролируемому запуску, описанный в статье как запустить ИИ-агента, не теряя клиентов. Сохранённая история упрощает последующий анализ решения, но не гарантирует, что любое изменение можно применить в обход действующих проверок разрешений или зависимостей.

Что происходит по завершении теста или при отсутствии данных?

В запланированный момент завершения по умолчанию включается обычная маршрутизация. Вместо этого можно заранее явно выбрать сохранённый вариант A, B или C, если он доступен. Для такого запланированного выбора всё равно нужны актуальные проверки доступности теста, целевого объекта и зависимостей. Это не автоматический выбор победителя. Заблокированный выбор требует внимания, и его нельзя считать применённым. Участники, уже включённые в тест, могут продолжать проходить свои окна измерения.

У неизвестных результатов есть важное следствие: даже один неразрешённый неизвестный результат может помешать сформировать статистическую рекомендацию по этому запуску. Описательные результаты и явный выбор пользователя остаются доступными. Если вручную остановить запуск до завершения запланированного периода анализа, это не доказывает, что один из вариантов победил. При переходе на Free доступ к экспериментам и набор новых участников прекращаются, а обработка эксперимента безопасно прерывается. Обычные записи во «Входящих» сохраняются.

Часто задаваемые вопросы

Считается ли тестовый диалог A/B-тестом?

Нет. Предварительный просмотр проверяет примеры поведения. В A/B-тесте подходящий реальный трафик распределяется по вариантам, а результат измеряется по заранее заданному показателю. Тестовые сообщения нельзя учитывать как участников эксперимента или бизнес-результаты.

Гарантирует ли распределение 50/50 одинаковое число сообщений?

Нет. Соотношение применяется к подходящим участникам, а не к отдельным сообщениям. При случайном распределении число участников может отличаться, и участники могут отправить разное количество сообщений. Неожиданное распределение требует проверки корректности.

Может ли Receptionist автоматически выбрать победителя?

Трафик остаётся в выбранном вами фиксированном соотношении. Вы решаете, какую сохранённую версию использовать, в запланированный момент завершения или после проверки результатов. Автоматическая адаптация распределения трафика и создание тестов с помощью AI Manager/MCP не предусмотрены.

Кто может пользоваться этой функцией?

Эксперименты должны быть включены в вашем платном рабочем пространстве Receptionist и разрешены настройками доступа команды. Нативное мобильное приложение предназначено для просмотра результатов и разрешённых действий управления; создание тестов выполняется в веб-интерфейсе. Использование ИИ по-прежнему расходует кредиты.

Обсудите одно предполагаемое изменение и один бизнес-результат для Receptionist. Закажите демонстрацию, чтобы обсудить, подходит ли такой подход к тестированию для вашего трафика и рабочего процесса.

Источники проверены 10 октября 2026 года. Исторические данные Microsoft не являются прогнозом для Entagl или вашего бизнеса. Рост конверсии не обещается.