Testa in A/B la tua receptionist IA prima di confermare la modifica

Un test A/B per una receptionist IA confronta versioni salvate rispetto allo stesso esito definito. Prima di individuare una versione vincente, servono dati affidabili sui partecipanti: Microsoft ha riferito che, in una sua analisi storica, circa il 6% dei test presentava uno scostamento nel rapporto del campione, un segnale che la ripartizione osservata del pubblico differiva da quella prevista. È un insegnamento sulla misurazione, non un tasso di errore di Entagl. Microsoft Research

La nuova domanda iniziale può sembrare migliore in anteprima. Capire se aiuta i clienti reali a completare una prenotazione è un’altra questione.

Quando gli esperimenti sono abilitati nel tuo workspace Receptionist a pagamento, puoi confrontare una modifica rispetto a un risultato aziendale definito. L’accesso dipende dal tuo workspace e dalle autorizzazioni del team. Gli esempi seguenti sono ipotetici, non risultati ottenuti con clienti.

Da quale aspetto conviene iniziare il test?

Scegli una decisione che cambieresti davvero dopo aver esaminato le prove. Una clinica potrebbe confrontare la richiesta del giorno preferito con la richiesta del servizio desiderato. Un negozio potrebbe confrontare un consiglio conciso su un prodotto con una domanda che aiuta a restringere la scelta.

Scrivi l’ipotesi in parole semplici: «Chiedere quale servizio desidera il cliente prima di proporre degli orari aumenterà le prenotazioni confermate». Poi scegli un unico esito principale prima di avviare il test. Se l’obiettivo reale è ottenere una conferma, non passare di nascosto al numero di messaggi solo perché appare più favorevole.

Mantieni stabile il resto dell’esperienza. Modificare insieme l’offerta, il modello, le istruzioni e la regola di follow-up può aiutarti a capire se funziona il pacchetto nel suo complesso, ma non ti dirà quale modifica ha causato una differenza. Registra anche i cambiamenti esterni, come una nuova promozione o una modifica dei turni del personale, così potrai interpretare i risultati in seguito.

La nostra guida su come formare un agente sulle conoscenze aziendali spiega cosa dovrebbe sapere l’agente. Un esperimento verifica cosa succede quando cambi il modo in cui usa quelle conoscenze.

In che modo Receptionist separa le versioni?

Il flusso web parte dalla canvas dell’agente. Apri Test A/B, seleziona l’account connesso esatto o il target di sito web supportato, quindi crea una bozza. A conserva la configurazione originale. B è una copia sperimentale. Puoi esaminare le modifiche senza impostare la bozza come configurazione attiva dell’account.

Un test rivolto a un singolo account connesso non modifica l’intero workspace. Controlla il nome, l’handle o il numero dell’account visualizzato, soprattutto se più account condividono una pipeline di origine. Le impostazioni di visualizzazione del sito web possono essere condivise da più embed, quindi verifica il target interessato prima di applicare un risultato.

Scegli una ripartizione fissa del traffico. Il rapporto rimane invariato per tutta la durata del test: il traffico non viene spostato automaticamente verso la versione che in quel momento è in testa. Il numero effettivo di partecipanti non corrisponderà necessariamente alle percentuali configurate. Anche il conteggio dei messaggi è distinto, perché un partecipante può inviarne diversi.

Il design salva la configurazione testata e l’assegnazione separatamente da ciò che è stato effettivamente eseguito. Se l’invio non riesce o viene usata una soluzione di fallback, questo dovrebbe restare visibile nei dati. Escludere quei partecipanti farebbe apparire migliore una versione problematica rispetto all’esperienza realmente offerta ai clienti.

Quale tipo di test risponde alla tua domanda?

Domanda	Tipo di test	Cosa resta invariato
Un comportamento diverso dell’agente è utile?	Due versioni salvate della pipeline	La regola di follow-up resta invariata
Il ricoinvolgimento tramite IA è utile?	Follow-up attivo o disattivato	I messaggi dello staff e le campagne non correlate non vengono disattivati
Come dovrebbe apparire la chat sul sito web?	Launcher, fumetto di benvenuto o apertura automatica	Il contenuto della chat e l’offerta restano invariati

Si tratta di esperimenti diversi. Un test delle istruzioni della conversazione non dimostra anche che un follow-up automatico sia utile. Un test del pannello iniziale non dimostra che la conversazione di prenotazione sia migliore.

Per i test di follow-up, conta tutte le conversazioni idonee assegnate. Contare solo le persone che hanno ricevuto un invio riuscito escluderebbe gli insuccessi e cambierebbe la domanda a cui il test cerca di rispondere. Restano importanti le disiscrizioni già registrate, il passaggio a un operatore, i limiti del canale, i controlli dei fondi e le regole di pausa dell’IA.

Cosa rende utilizzabile un risultato?

Un numero più alto sullo schermo non basta. Verifica se i partecipanti hanno avuto tempo di raggiungere l’esito selezionato, se il monitoraggio è rimasto affidabile e se la differenza è abbastanza significativa da contare per la tua attività.

Receptionist usa eventi registrati, invece di chiedere a un modello di IA di decidere se una conversazione è andata a buon fine. Mantiene gli esiti pending_completion e sconosciuti. Un cliente che non ha ancora completato la finestra di misurazione non è automaticamente un insuccesso, e l’assenza di monitoraggio non equivale a zero.

Anche interrompere le nuove assegnazioni non conclude subito la misurazione. Le persone già assegnate potrebbero ancora completare una prenotazione entro la finestra prevista. Prima di presentare un risultato completo, la schermata dei risultati dovrebbe mostrare il periodo di raccolta.

Le indicazioni di Microsoft distinguono il monitoraggio frequente degli effetti dannosi dalla decisione finale al termine pianificato di un test. La stessa distinzione conta per una receptionist: interrompi un’esperienza problematica quando è necessario, ma non dichiarare un vincitore solo perché un piccolo vantaggio iniziale sembra promettente. Microsoft Research

Come si mantiene o si annulla una modifica?

Esamina le differenze salvate e le conversazioni a supporto. In un esperimento, Usa come principale è un’azione deliberata che prevede la verifica del target. La cronologia dei test conserva la configurazione salvata, le date, i risultati e la decisione. Ripristinare la versione A salvata e tornare all’instradamento ereditato sono due scelte diverse: la prima ripristina una specifica versione salvata; la seconda segue la regola di instradamento attualmente impostata nell’elemento padre.

Un test inconcludente può restare tale. Può indicare che occorre raccogliere altre prove con una nuova esecuzione, scegliere una modifica pratica più ampia oppure mantenere la versione originale. Non obbliga ad adottare B.

Questo approccio si basa sul metodo di implementazione controllata descritto in come lanciare un agente IA senza perdere clienti. Una cronologia salvata rende più semplice esaminare la decisione in seguito; non garantisce che ogni modifica possa aggirare i controlli correnti su autorizzazioni o dipendenze.

Cosa succede quando termina il test o mancano dati?

Alla data di fine pianificata, viene usato per impostazione predefinita l’instradamento normale. Se disponibile, puoi invece preselezionare esplicitamente una versione salvata tra A, B o C. Anche questa scelta pianificata deve superare i controlli aggiornati su disponibilità del test, target e dipendenze: non comporta la selezione automatica di un vincitore. Se la scelta è bloccata, è necessario intervenire e non va indicata come applicata. I partecipanti già inclusi possono completare i rispettivi periodi di osservazione.

Gli esiti sconosciuti hanno una conseguenza precisa: anche un solo esito sconosciuto irrisolto può impedire una raccomandazione statistica per quell’esecuzione. Restano disponibili i risultati descrittivi e la possibilità di scegliere esplicitamente. Un’esecuzione interrotta manualmente prima del completamento dell’orizzonte di analisi pianificato non dimostra che ci sia un vincitore. Se si passa al piano Free, l’accesso agli esperimenti e le nuove iscrizioni vengono chiusi e la gestione degli esperimenti viene interrotta in sicurezza. I normali record dell’Inbox restano disponibili.

Domande frequenti

Una conversazione di anteprima è un test A/B?

No. Un’anteprima verifica il comportamento su esempi. Un test A/B assegna traffico reale idoneo e misura un esito definito in anticipo. I messaggi di anteprima non devono essere conteggiati come partecipanti all’esperimento o successi aziendali.

Una ripartizione 50/50 garantisce lo stesso numero di messaggi?

No. La ripartizione si applica ai partecipanti idonei, non ai singoli messaggi. L’assegnazione casuale può produrre un numero diverso di partecipanti per ciascun gruppo, e i partecipanti possono inviare quantità diverse di messaggi. Schemi di assegnazione inattesi richiedono un controllo dell’integrità.

Receptionist può scegliere automaticamente la versione vincente?

Il traffico resta sulla ripartizione fissa che scegli. Decidi tu quale versione salvata usare, alla fine pianificata oppure dopo aver esaminato i risultati. L’adattamento automatico del traffico e la creazione guidata da AI Manager/MCP non sono inclusi.

Chi può usare questa funzionalità?

Gli esperimenti devono essere abilitati nel tuo workspace Receptionist a pagamento e consentiti dalle autorizzazioni del team. L’app mobile nativa serve per consultare i risultati e usare i controlli consentiti; la creazione si svolge sul web. L’utilizzo dell’IA continua a consumare crediti.

Porta una modifica proposta e un risultato aziendale a cui tieni a una discussione su Receptionist. Prenota una demo per valutare se questo metodo di test è adatto al tuo traffico e al tuo flusso di lavoro.

Fonti verificate il 10 ottobre 2026. I dati storici di Microsoft non costituiscono una previsione per Entagl o per la tua attività. Non si promette alcun aumento delle conversioni.