Testez votre réceptionniste IA avant de conserver la modification

Un test A/B de réceptionniste IA compare des versions enregistrées en fonction d’un même résultat défini. Avant de chercher une version gagnante, il faut disposer de données fiables sur les participants : Microsoft a indiqué qu’environ 6 % des tests d’une analyse historique présentaient un écart dans la répartition de l’échantillon, signe que la répartition observée de l’audience différait de celle prévue. C’est une leçon sur la mesure, pas un taux d’échec d’Entagl. Microsoft Research

Votre nouvelle question d’ouverture peut sembler meilleure en aperçu. Savoir si elle aide les vrais clients à terminer une réservation est une autre question.

Lorsque les expérimentations sont activées dans votre espace de travail Receptionist payant, vous pouvez comparer une modification à un résultat commercial défini. L’accès dépend de votre espace de travail et des autorisations de votre équipe. Les exemples ci-dessous sont hypothétiques et ne correspondent pas à des résultats clients.

Que tester en premier ?

Choisissez une décision que vous prendriez réellement différemment après avoir examiné les données. Une clinique pourrait comparer une question sur le jour souhaité à une question sur le service recherché par le client. Un magasin pourrait comparer une recommandation de produit concise à une question qui aide à préciser le choix.

Formulez l’hypothèse en termes simples : « Demander au client quel service il souhaite avant de proposer des horaires augmentera le nombre de réservations confirmées. » Choisissez ensuite un résultat principal avant le début du test. Si votre objectif réel est la confirmation, ne remplacez pas discrètement ce résultat par le nombre de messages parce que ce chiffre semble plus favorable.

Gardez le reste de l’expérience stable. Modifier en même temps l’offre, le modèle, les instructions et la politique de suivi peut indiquer si l’ensemble fonctionne, mais ne permet pas de savoir quelle modification a entraîné une différence. Consignez les changements externes, notamment une nouvelle promotion ou une modification du planning du personnel, pour pouvoir interpréter les résultats par la suite.

Notre guide sur la formation d’un agent à partir des connaissances de votre entreprise explique ce que l’agent doit savoir. Une expérimentation cherche à déterminer ce qui se passe lorsque vous changez la façon dont il utilise ces connaissances.

Comment Receptionist sépare-t-il les versions ?

Le flux web commence dans le canevas de l’agent. Ouvrez Tests A/B, sélectionnez le compte connecté précis ou la cible de site web prise en charge, puis créez un brouillon. A conserve la configuration d’origine. B en est une copie expérimentale. Vous pouvez examiner les modifications sans définir le brouillon comme configuration active du compte.

Un test ciblant un compte connecté ne modifie pas l’ensemble de l’espace de travail. Vérifiez le nom du compte, son identifiant ou son numéro affiché, surtout si plusieurs comptes partagent un pipeline source. Les paramètres d’affichage du site web peuvent être utilisés par plusieurs intégrations. Vérifiez donc la cible concernée avant d’appliquer un résultat.

Choisissez une répartition fixe du trafic. Ce ratio reste fixe pendant toute la durée du test : le trafic n’est pas automatiquement redirigé vers la version en tête. Le nombre réel de participants ne correspondra pas nécessairement exactement aux pourcentages configurés. Le nombre de messages est une mesure distincte, car un même participant peut envoyer plusieurs messages.

La conception enregistre séparément la configuration testée et l’affectation, ainsi que ce qui s’est réellement passé. Si la livraison échoue ou qu’une solution de repli est utilisée, cela doit rester visible dans les données. Exclure ces participants donnerait une image plus favorable d’une version que de l’expérience réellement vécue par les clients.

Quel type de test répond à votre question ?

Question	Type de test	Ce qui reste distinct
Un comportement différent de l’agent est-il utile ?	Deux versions enregistrées du pipeline	La politique de suivi reste identique
La relance par IA est-elle utile ?	Suivi activé ou désactivé	Les messages du personnel et les campagnes sans rapport ne sont pas désactivés
Comment le chat du site web doit-il s’afficher ?	Lanceur, bulle de bienvenue ou ouverture automatique	Le contenu du chat et l’offre restent identiques

Il s’agit d’expérimentations différentes. Un test des instructions de conversation ne prouve pas aussi qu’une relance automatique est utile. Un test du panneau d’ouverture ne prouve pas que la conversation de réservation s’est améliorée.

Pour les tests de suivi, comptez toutes les conversations admissibles qui ont été affectées. Ne compter que les personnes ayant reçu un message avec succès exclurait les échecs et modifierait la question étudiée. Les désabonnements existants, la prise en charge par un humain, les limites des canaux, les vérifications de financement et les règles de pause de l’IA restent applicables.

Qu’est-ce qui rend un résultat exploitable ?

Un chiffre plus élevé à l’écran ne suffit pas. Vérifiez si les participants ont eu le temps d’atteindre le résultat choisi, si le suivi est resté fiable et si l’écart est suffisamment important pour compter pour votre activité.

Receptionist s’appuie sur des événements consignés plutôt que de demander à un modèle d’IA de décider si une conversation a réussi. Les résultats en attente et inconnus sont conservés. Un client qui n’a pas encore terminé sa période de mesure n’est pas automatiquement considéré comme un échec, et l’absence de suivi ne vaut pas zéro.

Mettre fin aux nouvelles affectations ne termine pas immédiatement la mesure. Les personnes déjà affectées peuvent encore effectuer une réservation pendant la période qui leur est accordée. L’écran des résultats doit indiquer cette période de collecte avant d’afficher un résultat comme définitif.

Les recommandations de Microsoft distinguent la surveillance fréquente des effets nuisibles de la décision finale prise à la fin prévue d’un test. Cette distinction compte aussi pour un réceptionniste : interrompez une expérience défaillante si nécessaire, mais ne déclarez pas de gagnant parce qu’une faible avance initiale semble intéressante. Microsoft Research

Comment conserver ou annuler une modification ?

Examinez les différences enregistrées et les conversations qui les étayent. Dans une expérience, Utiliser comme version principale est une action délibérée assortie d’une vérification de la cible. L’historique des tests conserve la configuration enregistrée, les dates, les résultats et la décision. Restaurer la version A enregistrée et revenir au routage hérité sont deux choix différents : le premier restaure une version précise ; le second applique la règle de routage du parent en vigueur.

Un test non concluant peut le rester. Il peut vous inciter à recueillir davantage de données lors d’un nouveau test, à choisir une modification plus importante en pratique ou à conserver la version d’origine. Il ne vous oblige pas à adopter B.

Cette approche s’appuie sur la méthode de déploiement progressif présentée dans le lancement d’un agent IA sans perdre de clients. Un historique enregistré facilite l’examen de la décision par la suite ; il ne garantit pas que chaque modification puisse contourner les contrôles d’autorisation ou de dépendance en vigueur.

Que se passe-t-il à la fin du test ou s’il manque des données ?

À la date de fin prévue, le routage normal est utilisé par défaut. Vous pouvez plutôt présélectionner explicitement la version A, B ou C enregistrée, si elle est disponible. Ce choix programmé nécessite toujours de vérifier que la disponibilité du test, la cible et les dépendances sont à jour ; il ne s’agit pas d’une sélection automatique de la version gagnante. Un choix bloqué nécessite une intervention et ne doit pas être indiqué comme appliqué. Les participants déjà inscrits peuvent continuer jusqu’à la fin de leur période de mesure.

Les résultats inconnus ont une conséquence précise : un seul résultat inconnu non résolu peut empêcher une recommandation statistique pour cette session. Les résultats descriptifs et un choix explicite de l’utilisateur restent disponibles. L’arrêt manuel d’une session sans période d’analyse prévue menée à son terme ne prouve pas qu’une version est gagnante. En cas de passage à l’offre Free, l’accès aux expériences et les nouvelles inscriptions prennent fin, et le traitement des expériences est interrompu de manière sécurisée. Les enregistrements ordinaires de la boîte de réception sont conservés.

Foire aux questions

Une conversation d’aperçu est-elle un test A/B ?

Non. Un aperçu permet de vérifier un exemple de comportement. Un test A/B affecte du trafic réel admissible et mesure un résultat prédéfini. Les messages d’aperçu ne doivent pas être comptés parmi les participants à l’expérience ni comme des réussites commerciales.

Une répartition 50/50 garantit-elle un nombre égal de messages ?

Non. La répartition s’applique aux participants admissibles, pas aux messages individuels. L’affectation aléatoire peut produire des nombres de participants inégaux, et les participants peuvent envoyer des nombres différents de messages. Toute répartition inattendue nécessite une vérification de l’intégrité des données.

Receptionist peut-il choisir automatiquement la version gagnante ?

La répartition du trafic reste fixe selon le ratio que vous choisissez. Vous décidez quelle version enregistrée utiliser, soit à la date de fin prévue, soit après examen des résultats. L’adaptation automatique du trafic et la création guidée par AI Manager/MCP ne sont pas incluses.

Qui peut utiliser cette fonctionnalité ?

Les expérimentations doivent être activées dans votre espace de travail Receptionist payant et autorisées par les permissions de votre équipe. L’application mobile native permet de consulter les résultats et d’utiliser les commandes autorisées ; la création se fait sur le web. L’utilisation de l’IA continue de consommer des crédits.

Présentez une modification envisagée et un résultat commercial à discuter avec Receptionist. Réservez une démonstration pour déterminer si cette approche de test convient à votre trafic et à votre flux de travail.

Sources vérifiées le 10 octobre 2026. Les chiffres historiques de Microsoft ne constituent pas une prévision pour Entagl ni pour votre entreprise. Aucune hausse des conversions n’est promise.