Haz una prueba A/B de tu recepcionista de IA antes de conservar el cambio

Una prueba A/B de una recepcionista con IA compara versiones guardadas respecto del mismo resultado definido. Antes de necesitar una versión ganadora, necesita registros fiables de los participantes: Microsoft informó que alrededor del 6 % de las pruebas de un análisis histórico presentaron una discrepancia en la proporción de la muestra, una señal de que la distribución observada de la audiencia difería de la prevista. Es una lección sobre medición, no una tasa de fallos de Entagl. Microsoft Research

Tu nueva pregunta inicial puede sonar mejor en una vista previa. Que ayude a clientes reales a completar una reserva es otra cuestión.

Cuando los experimentos están habilitados en tu espacio de trabajo de Receptionist de pago, puedes comparar un cambio con un resultado de negocio definido. El acceso depende de tu espacio de trabajo y de los permisos de tu equipo. Los ejemplos que aparecen a continuación son hipotéticos, no resultados de clientes.

¿Qué deberías probar primero?

Elige una decisión que realmente tomarías de otra manera al ver las pruebas. Una clínica podría comparar preguntar primero qué día prefiere el cliente con preguntar qué servicio necesita. Una tienda podría comparar una recomendación concisa de producto con una pregunta que acote las opciones.

Escribe la hipótesis con palabras sencillas: «Preguntar qué servicio quiere el cliente antes de ofrecer horarios aumentará las reservas confirmadas». Después, elige un resultado principal antes de empezar la prueba. Si tu objetivo real es la confirmación, no cambies discretamente al recuento de mensajes solo porque parezca más favorable.

Mantén estable el resto de la experiencia. Cambiar a la vez la oferta, el modelo, las instrucciones y la política de seguimiento puede servir para averiguar si funciona el paquete completo, pero no permite saber qué cambio causó una diferencia. Registra los cambios externos, como una promoción nueva o un cambio en los turnos del personal, para poder interpretar el resultado más adelante.

Nuestra guía sobre cómo formar a un agente con los conocimientos de la empresa explica qué debe saber el agente. Un experimento pregunta qué ocurre cuando cambias la forma en que utiliza esos conocimientos.

¿Cómo separa Receptionist las versiones?

El flujo web comienza en el lienzo del agente. Abre Pruebas A/B, selecciona la cuenta conectada exacta o el destino de sitio web compatible y, después, crea un borrador. A guarda la configuración original. B es una copia experimental. Puedes revisar los cambios sin asignar el borrador como configuración activa de la cuenta.

Una prueba dirigida a una cuenta conectada no modifica todo el espacio de trabajo. Comprueba el nombre, el identificador o el número de la cuenta que se muestra, sobre todo si varias cuentas comparten una canalización de origen. La configuración de presentación del sitio web puede compartirse entre varios elementos insertados, así que revisa el destino afectado antes de aplicar un resultado.

Elige una distribución fija del tráfico. Esa proporción se mantiene fija durante toda la prueba; el tráfico no se desplaza automáticamente hacia la versión que va en cabeza. El número real de participantes no necesariamente coincidirá exactamente con los porcentajes configurados. Los recuentos de mensajes son distintos, ya que un participante puede enviar varios mensajes.

El diseño guarda por separado la configuración probada y la asignación, y registra lo que realmente se ejecutó. Si falla la entrega o se utiliza una alternativa, eso debe seguir siendo visible en las pruebas. Excluir a esos participantes haría que una versión problemática pareciera mejor que la experiencia que recibieron los clientes.

¿Qué tipo de prueba responde a tu pregunta?

Pregunta	Tipo de prueba	Qué se mantiene separado
¿Ayuda un comportamiento distinto del agente?	Dos versiones guardadas de la canalización	La política de seguimiento se mantiene igual
¿Ayuda la reactivación mediante IA?	Seguimiento activado frente a desactivado	No se desactivan los mensajes del personal ni las campañas no relacionadas
¿Cómo debería aparecer el chat del sitio web?	Lanzador, burbuja de bienvenida o apertura automática	El contenido del chat y la oferta se mantienen iguales

Son experimentos distintos. Una prueba de las instrucciones de conversación no demuestra también que el seguimiento automático ayude. Una prueba de un panel inicial no demuestra que la conversación de reserva sea mejor.

En las pruebas de seguimiento, cuenta todas las conversaciones aptas que hayan sido asignadas. Contar solo a quienes recibieron un envío exitoso excluiría los fallos y cambiaría la pregunta. Los rechazos existentes, la intervención humana, los límites del canal, las comprobaciones de fondos y las reglas de pausa de la IA siguen siendo relevantes.

¿Qué hace que un resultado sea útil?

Un número más alto en pantalla no basta. Comprueba si los participantes tuvieron tiempo para alcanzar el resultado elegido, si el seguimiento se mantuvo en buen estado y si la diferencia es lo bastante importante para tu negocio.

Receptionist utiliza eventos registrados en lugar de pedirle a un modelo de IA que decida si una conversación tuvo éxito. Conserva los resultados pendientes y desconocidos. Un cliente que aún no haya completado el periodo de medición no es automáticamente un fracaso, y la falta de seguimiento no equivale a cero.

Detener la inscripción tampoco termina la medición de inmediato. Las personas ya asignadas aún pueden completar una reserva durante el plazo permitido. La pantalla de resultados debería mostrar ese periodo de recopilación antes de presentar un resultado finalizado.

Las directrices de Microsoft distinguen entre la supervisión frecuente para detectar efectos perjudiciales y la decisión final al término previsto de una prueba. La misma distinción importa para una recepcionista: detén una experiencia defectuosa cuando sea necesario, pero no declares una versión ganadora porque una pequeña ventaja inicial parezca atractiva. Microsoft Research

¿Cómo puedes conservar o deshacer un cambio?

Revisa las diferencias guardadas y las conversaciones que las respaldan. En un experimento, Usar como principal es una acción deliberada que comprueba el destino. El historial de pruebas conserva la configuración guardada, las fechas, los resultados y la decisión. Restaurar la versión A guardada y volver al enrutamiento heredado son decisiones distintas: la primera restaura una versión específica guardada; la segunda sigue la regla de enrutamiento actual del elemento principal.

Una prueba no concluyente puede quedarse así. Puede indicarte que reúnas más pruebas en una nueva ejecución, que elijas un cambio práctico de mayor alcance o que mantengas la versión original. No te obliga a adoptar B.

Esto se basa en el enfoque de implementación controlada de cómo lanzar un agente de IA sin perder clientes. Un historial guardado facilita revisar la decisión más adelante; no garantiza que cualquier cambio pueda omitir las comprobaciones vigentes de permisos o dependencias.

¿Qué ocurre cuando termina la prueba o faltan datos?

Al llegar a la fecha prevista de finalización, se usa el enrutamiento habitual de forma predeterminada. Si está disponible, puedes preseleccionar explícitamente una versión guardada, A, B o C. Esa elección programada sigue requiriendo comprobaciones actualizadas de la disponibilidad del experimento, del destino y de las dependencias; no selecciona automáticamente una ganadora. Si la elección está bloqueada, requiere atención y no debe indicarse como aplicada. Los participantes existentes pueden continuar durante sus periodos de evaluación.

Los resultados desconocidos tienen una consecuencia estricta: incluso un solo resultado desconocido sin resolver puede impedir una recomendación estadística para esa ejecución. Aun así, puedes consultar resultados descriptivos y elegir explícitamente una opción. Si detienes una ejecución manualmente antes de completar el horizonte de análisis previsto, eso no demuestra que haya una versión ganadora. Si cambias a Free, se cierran el acceso a los experimentos y las nuevas inscripciones, y la gestión de los experimentos se interrumpe de forma segura. Los registros habituales de Inbox se conservan.

Preguntas frecuentes

¿Una conversación de vista previa es una prueba A/B?

No. Una vista previa comprueba el comportamiento de ejemplo. Una prueba A/B asigna tráfico real apto y mide un resultado definido de antemano. Los mensajes de vista previa no deben contarse como participantes del experimento ni como éxitos del negocio.

¿Una distribución 50/50 garantiza el mismo número de mensajes?

No. La distribución se aplica a los participantes aptos, no a cada mensaje. La asignación aleatoria puede producir un número desigual de participantes, y estos pueden enviar cantidades distintas de mensajes. Los patrones de asignación inesperados requieren una comprobación de integridad.

¿Puede Receptionist elegir automáticamente la versión ganadora?

El tráfico se mantiene en la proporción fija que elijas. Tú decides qué versión guardada usar, ya sea al llegar a la fecha programada de finalización o después de revisar los resultados. La adaptación automática del tráfico y la creación guiada por AI Manager/MCP no están incluidas.

¿Quién puede usar esta función?

Los experimentos deben estar habilitados en tu espacio de trabajo de Receptionist de pago y permitidos por los permisos de tu equipo. La aplicación móvil nativa sirve para ver resultados y utilizar los controles permitidos; la creación se realiza en la web. El uso de IA sigue consumiendo créditos.

Lleva un cambio propuesto y un resultado de negocio a una conversación sobre Receptionist. Reserva una demostración para revisar si este enfoque de pruebas encaja con tu tráfico y tu flujo de trabajo.

Fuentes consultadas el 10 de octubre de 2026. Las cifras históricas de Microsoft no son una previsión para Entagl ni para tu negocio. No se promete ningún aumento de conversiones.