Teste sua recepcionista com IA antes de manter a mudança

Um teste A/B de recepcionista com IA compara versões salvas em relação ao mesmo resultado definido. Antes de escolher uma vencedora, é preciso ter registros confiáveis dos participantes: a Microsoft informou que cerca de 6% dos testes em uma análise histórica apresentaram incompatibilidade na proporção da amostra, um alerta de que a divisão observada do público diferia da planejada. Essa é uma lição sobre medição, não uma taxa de falha da Entagl. Microsoft Research

Sua nova pergunta de abertura pode soar melhor em uma prévia. Saber se ela ajuda clientes reais a concluir uma reserva é outra questão.

Quando os experimentos estão habilitados no seu espaço de trabalho pago do Receptionist, você pode comparar uma mudança com um resultado de negócio definido. O acesso depende do seu espaço de trabalho e das permissões da equipe. Os exemplos abaixo são hipotéticos, não resultados de clientes.

O que você deve testar primeiro?

Escolha uma decisão que você realmente tomaria de outra forma depois de analisar as evidências. Uma clínica poderia comparar perguntar primeiro qual dia seria conveniente com perguntar qual serviço o cliente deseja. Uma loja poderia comparar uma recomendação de produto concisa com uma pergunta que ajude a restringir a seleção.

Escreva a hipótese em palavras simples: “Perguntar qual serviço o cliente deseja antes de oferecer horários aumentará as reservas confirmadas.” Depois, escolha um resultado principal antes do início do teste. Se seu objetivo real é obter confirmações, não mude discretamente para a contagem de mensagens só porque ela parece mais favorável.

Mantenha estável o restante da experiência. Alterar a oferta, o modelo, as instruções e a política de acompanhamento ao mesmo tempo pode responder se o conjunto funciona, mas não permite saber qual mudança causou uma diferença. Registre também as mudanças externas, como uma nova promoção ou uma alteração na escala da equipe, para poder interpretar o resultado depois.

Nosso guia sobre treinar um agente com o conhecimento da empresa aborda o que o agente deve saber. Um experimento pergunta o que acontece quando você muda a forma como ele usa esse conhecimento.

Como o Receptionist separa as versões?

O fluxo na web começa na tela de edição do agente. Abra Testes A/B, selecione a conta conectada exata ou o destino de site compatível e, em seguida, crie um rascunho. A mantém a configuração original. B é uma cópia experimental. Você pode analisar as mudanças sem definir o rascunho como configuração ativa da conta.

Um teste direcionado a uma conta conectada não altera todo o espaço de trabalho. Confira o nome, o identificador ou o número da conta exibido, principalmente quando várias contas compartilham um pipeline de origem. As configurações de apresentação do site podem ser compartilhadas por várias incorporações, portanto, revise o destino afetado antes de aplicar um resultado.

Escolha uma divisão fixa do tráfego. Essa proporção permanece fixa durante todo o teste; o tráfego não é redirecionado automaticamente para a versão que estiver na frente. A contagem real de participantes não necessariamente corresponderá exatamente às porcentagens configuradas. A contagem de mensagens é diferente, pois um participante pode enviar várias mensagens.

O design salva a configuração testada e a atribuição separadamente daquilo que realmente foi executado. Se a entrega falhar ou houver uso de uma alternativa, isso deve continuar visível nas evidências. Excluir esses participantes faria uma versão problemática parecer melhor do que a experiência recebida pelos clientes.

Que tipo de teste responde à sua pergunta?

Pergunta	Tipo de teste	O que permanece separado
Um comportamento diferente do agente ajuda?	Duas versões salvas do pipeline	A política de acompanhamento permanece igual
O reengajamento por IA ajuda?	Acompanhamento ativado versus desativado	Mensagens da equipe e campanhas não relacionadas não são desativadas
Como o chat do site deve aparecer?	Iniciador, balão de boas-vindas ou abertura automática	O conteúdo do chat e a oferta permanecem iguais

São experimentos diferentes. Um teste das instruções da conversa não comprova também que o acompanhamento automático ajuda. Um teste do painel de abertura não comprova que a conversa de reserva é melhor.

Nos testes de acompanhamento, conte todas as conversas elegíveis atribuídas. Contar apenas as pessoas que receberam uma mensagem com sucesso excluiria falhas e mudaria a pergunta. As opções de não recebimento já registradas, a transferência para uma pessoa, os limites do canal, as verificações de saldo e as regras de pausa da IA continuam valendo.

O que torna um resultado útil?

Um número maior na tela não basta. Confira se os participantes tiveram tempo para alcançar o resultado escolhido, se o rastreamento continuou funcionando e se a diferença é importante o suficiente para a empresa.

O Receptionist usa eventos registrados, em vez de pedir a um modelo de IA que decida se uma conversa foi bem-sucedida. Ele preserva resultados pendentes e desconhecidos. Um cliente que ainda não concluiu o período de medição não é automaticamente considerado um fracasso, e a falta de rastreamento não equivale a zero.

Interromper a entrada de participantes também não encerra a medição imediatamente. Quem já recebeu uma atribuição ainda pode concluir uma reserva durante o período permitido. A tela de resultados deve mostrar esse período de coleta antes de apresentar um resultado concluído.

As orientações da Microsoft distinguem o monitoramento frequente de efeitos prejudiciais da decisão final ao término planejado de um teste. A mesma distinção é importante para uma recepcionista: interrompa uma experiência problemática quando necessário, mas não declare uma vencedora só porque uma pequena vantagem inicial parece atraente. Microsoft Research

Como manter ou desfazer uma mudança?

Analise as diferenças salvas e as conversas que as sustentam. Em um experimento, Usar como principal é uma ação deliberada que inclui uma verificação do destino. O histórico de testes mantém a configuração salva, as datas, os resultados e a decisão. Restaurar a versão A salva e voltar ao roteamento herdado são escolhas diferentes: a primeira restaura uma versão salva específica; a segunda segue a regra de roteamento herdada atual.

Um teste inconclusivo pode continuar inconclusivo. Ele pode indicar que você deve reunir mais evidências em uma nova rodada, escolher uma mudança prática maior ou manter a versão original. Não cria a obrigação de adotar B.

Isso dá continuidade à abordagem de implantação controlada descrita em lançar um agente de IA sem perder clientes. Um histórico salvo facilita a análise posterior da decisão; não é uma promessa de que toda mudança possa ignorar as verificações atuais de permissões ou dependências.

O que acontece quando o teste termina ou faltam evidências?

No fim previsto, o roteamento normal é usado por padrão. Se preferir, você pode pré-selecionar explicitamente A, B ou C, entre as opções salvas disponíveis. Essa escolha programada ainda depende de verificações atualizadas da disponibilidade do teste, do destino e das dependências; ela não seleciona automaticamente uma versão vencedora. Uma escolha bloqueada precisa de atenção e não deve ser informada como aplicada. Os participantes atuais podem continuar durante os respectivos períodos de avaliação.

Resultados desconhecidos têm uma consequência estrita: basta um resultado desconhecido não resolvido para impedir uma recomendação estatística para aquela execução. Os resultados descritivos e uma escolha explícita do usuário continuam disponíveis. Interromper manualmente uma execução sem concluir o período de análise planejado não comprova que houve uma versão vencedora. Ao mudar para o plano Free, o acesso aos experimentos e as novas inscrições são encerrados, e o processamento dos experimentos é interrompido de forma segura. Os registros comuns da Caixa de entrada permanecem.

Perguntas frequentes

Uma conversa de prévia é um teste A/B?

Não. Uma prévia verifica um exemplo de comportamento. Um teste A/B atribui tráfego real elegível e mede um resultado predefinido. Mensagens de prévia não devem contar como participantes do experimento nem como resultados de negócio.

Uma divisão de 50/50 garante a mesma quantidade de mensagens?

Não. A divisão se aplica aos participantes elegíveis, não às mensagens individuais. A alocação aleatória pode resultar em quantidades diferentes de participantes, e cada participante pode enviar um número diferente de mensagens. Padrões de alocação inesperados exigem uma verificação de integridade.

O Receptionist pode escolher automaticamente a versão vencedora?

O tráfego permanece na proporção fixa que você escolher. Você decide qual versão salva usar, seja no fim programado, seja após a análise. A adaptação automática do tráfego e a criação orientada pelo AI Manager/MCP não estão incluídas.

Quem pode usar o recurso?

Os experimentos precisam estar habilitados no seu espaço de trabalho pago do Receptionist e ser permitidos pelas permissões da equipe. O app nativo para dispositivos móveis serve para consultar resultados e usar controles permitidos; a criação deve ser feita na web. O uso de IA continua consumindo créditos.

Leve uma mudança proposta e um resultado de negócio para uma conversa sobre o Receptionist. Agende uma demonstração para avaliar se essa abordagem de testes é adequada ao seu tráfego e fluxo de trabalho.

Fontes consultadas em 10 de outubro de 2026. Os números históricos da Microsoft não são uma previsão para a Entagl nem para sua empresa. Não há promessa de aumento nas conversões.