Testen Sie Ihren KI-Rezeptionisten per A/B-Test, bevor Sie Änderungen übernehmen

Ein A/B-Test für einen KI-Rezeptionisten vergleicht gespeicherte Versionen anhand desselben festgelegten Ergebnisses. Bevor Sie einen Gewinner ermitteln, brauchen Sie verlässliche Teilnehmerdaten: Microsoft berichtete, dass etwa 6 % der Tests in einer historischen Analyse eine Abweichung des Stichprobenverhältnisses aufwiesen. Das ist ein Warnsignal dafür, dass die beobachtete Aufteilung der Zielgruppe von der vorgesehenen abwich. Daraus lässt sich etwas über die Messung lernen, nicht über eine Fehlerrate von Entagl. Microsoft Research

Ihre neue Einstiegsfrage klingt in einer Vorschau vielleicht besser. Ob sie echten Kunden dabei hilft, eine Buchung abzuschließen, ist eine andere Frage.

Wenn Experimente in Ihrem kostenpflichtigen Receptionist-Arbeitsbereich aktiviert sind, können Sie eine Änderung mit einem festgelegten Geschäftsergebnis vergleichen. Der Zugriff hängt von Ihrem Arbeitsbereich und den Berechtigungen Ihres Teams ab. Die Beispiele unten sind hypothetisch und keine Kundenergebnisse.

Was sollten Sie zuerst testen?

Wählen Sie eine Entscheidung, die Sie nach Sichtung der Belege tatsächlich anders treffen würden. Eine Klinik könnte vergleichen, ob sie zuerst nach einem bevorzugten Tag oder danach fragt, welche Dienstleistung der Kunde benötigt. Ein Geschäft könnte eine knappe Produktempfehlung mit einer Frage vergleichen, die die Auswahl eingrenzt.

Formulieren Sie die Hypothese in einfachen Worten: „Wenn wir zuerst fragen, welche Dienstleistung der Kunde möchte, und erst danach Zeiten anbieten, erhöht das die Zahl bestätigter Buchungen.“ Legen Sie anschließend vor Testbeginn ein primäres Ergebnis fest. Wenn Ihr eigentliches Ziel eine Bestätigung ist, wechseln Sie nicht stillschweigend zur Nachrichtenanzahl, nur weil diese günstiger aussieht.

Halten Sie den Rest der Erfahrung konstant. Wenn Sie gleichzeitig das Angebot, das Modell, die Anweisungen und die Nachfassrichtlinie ändern, finden Sie möglicherweise heraus, ob das Gesamtpaket funktioniert. Sie können dann aber nicht erkennen, welche Änderung den Unterschied verursacht hat. Halten Sie externe Änderungen fest, darunter eine neue Werbeaktion oder eine Änderung des Mitarbeitendenplans, damit Sie die Ergebnisse später einordnen können.

Unser Leitfaden zum Trainieren eines Agenten mit Unternehmenswissen behandelt, was der Agent wissen sollte. Ein Experiment untersucht, was passiert, wenn Sie ändern, wie er dieses Wissen einsetzt.

Wie trennt Receptionist die Versionen?

Der Webablauf beginnt im Agenten-Canvas. Öffnen Sie A/B-Tests, wählen Sie das genaue verbundene Konto oder die unterstützte Website-Zielseite aus und erstellen Sie dann einen Entwurf. A speichert die ursprüngliche Konfiguration. B ist eine experimentelle Kopie. Sie können die Änderungen prüfen, ohne den Entwurf als Live-Konfiguration des Kontos festzulegen.

Ein Test für ein verbundenes Konto ist keine Änderung für den gesamten Arbeitsbereich. Prüfen Sie den angezeigten Kontonamen, Handle oder die Nummer, besonders wenn mehrere Konten dieselbe Quellpipeline nutzen. Website-Darstellungseinstellungen können von mehreren Einbettungen gemeinsam genutzt werden. Prüfen Sie deshalb das betroffene Ziel, bevor Sie ein Ergebnis übernehmen.

Wählen Sie eine feste Traffic-Aufteilung. Dieses Verhältnis bleibt während des gesamten Tests unverändert; der Traffic wird nicht automatisch stärker der jeweils führenden Version zugeteilt. Die tatsächlichen Teilnehmerzahlen entsprechen nicht unbedingt genau den eingestellten Prozentsätzen. Nachrichtenanzahlen sind davon nochmals getrennt, denn eine teilnehmende Person kann mehrere Nachrichten senden.

Das Design speichert die getestete Konfiguration und die Zuweisung getrennt von dem, was tatsächlich ausgeführt wurde. Wenn die Zustellung fehlschlägt oder ein Fallback verwendet wird, sollte das in den Nachweisen sichtbar bleiben. Solche Teilnehmenden auszuschließen würde eine Version besser aussehen lassen, als die Erfahrung für Kunden tatsächlich war.

Welche Testart beantwortet Ihre Frage?

Frage	Testart	Was getrennt bleibt
Hilft ein anderes Agentenverhalten?	Zwei gespeicherte Pipeline-Versionen	Die Nachfassrichtlinie bleibt gleich
Hilft die erneute Kontaktaufnahme durch KI?	Nachfassen ein oder aus	Nachrichten von Mitarbeitenden und nicht zugehörige Kampagnen werden nicht deaktiviert
Wie soll der Website-Chat erscheinen?	Launcher, Willkommensblase oder automatisches Öffnen	Chat-Inhalt und Angebot bleiben unverändert

Das sind unterschiedliche Experimente. Ein Test der Gesprächsanweisungen belegt nicht zugleich, dass ein automatisches Nachfassen hilft. Ein Test eines Einstiegsbereichs belegt nicht, dass dadurch ein besseres Buchungsgespräch entsteht.

Zählen Sie bei Tests der Nachfassfunktion alle zugewiesenen geeigneten Gespräche. Wenn Sie nur Personen zählen, denen erfolgreich eine Nachricht gesendet wurde, schließen Sie Fehler aus und verändern damit die Fragestellung. Bestehende Abmeldungen, die Übernahme durch Mitarbeitende, Kanalbeschränkungen, Guthabenprüfungen und KI-Pausenregeln sind weiterhin zu berücksichtigen.

Was macht ein Ergebnis aussagekräftig?

Eine höhere Zahl auf dem Bildschirm genügt nicht. Prüfen Sie, ob die Teilnehmenden genug Zeit hatten, das ausgewählte Ergebnis zu erreichen, ob die Erfassung zuverlässig funktionierte und ob der Unterschied für Ihr Unternehmen groß genug ist, um relevant zu sein.

Receptionist stützt sich auf erfasste Ereignisse, statt ein KI-Modell entscheiden zu lassen, ob ein Gespräch erfolgreich war. Ausstehende und unbekannte Ergebnisse bleiben erhalten. Ein Kunde, der das Messfenster noch nicht abgeschlossen hat, gilt nicht automatisch als Misserfolg. Fehlende Erfassung ist ebenfalls kein Nullwert.

Auch das Beenden der Aufnahme neuer Teilnehmender schließt die Messung nicht sofort ab. Bereits zugewiesene Personen können innerhalb ihres zulässigen Zeitfensters noch eine Buchung abschließen. Der Ergebnisbildschirm sollte diesen Erfassungszeitraum anzeigen, bevor er ein abgeschlossenes Ergebnis präsentiert.

Microsofts Leitlinien unterscheiden zwischen der häufigen Überwachung auf schädliche Auswirkungen und einer endgültigen Entscheidung am geplanten Testende. Dieselbe Unterscheidung ist auch bei einem Rezeptionisten wichtig: Beenden Sie eine fehlerhafte Erfahrung, wenn es nötig ist, aber erklären Sie eine Version nicht zum Gewinner, nur weil ein kleiner Vorsprung zu Beginn attraktiv aussieht. Microsoft Research

Wie übernehmen oder verwerfen Sie eine Änderung?

Prüfen Sie die gespeicherten Unterschiede und die zugehörigen Gespräche. In einem Experiment ist Als Hauptversion verwenden eine bewusste Aktion mit einer Prüfung des Ziels. Der Testverlauf enthält die gespeicherte Konfiguration, die Termine, die Ergebnisse und die Entscheidung. Gespeichertes A wiederherzustellen und zum geerbten Routing zurückzukehren sind zwei verschiedene Entscheidungen: Die erste stellt eine bestimmte gespeicherte Version wieder her, die zweite folgt der aktuellen Routing-Regel des übergeordneten Elements.

Ein nicht eindeutiger Test darf nicht eindeutig bleiben. Er kann bedeuten, dass Sie in einem neuen Durchlauf weitere Belege sammeln, eine praktisch bedeutendere Änderung auswählen oder die ursprüngliche Version beibehalten. Sie müssen B deshalb nicht übernehmen.

Das baut auf dem kontrollierten Rollout-Ansatz aus Einführung eines KI-Agenten ohne Kunden zu verlieren auf. Ein gespeicherter Verlauf erleichtert es, die Entscheidung später nachzuvollziehen. Er verspricht nicht, dass sich bei jeder Änderung die geltenden Berechtigungs- oder Abhängigkeitsprüfungen umgehen lassen.

Was passiert, wenn der Test endet oder Nachweise fehlen?

Zum geplanten Ende gilt standardmäßig die reguläre Weiterleitung. Sie können stattdessen ausdrücklich Variante A, B oder C vorauswählen, sofern diese verfügbar und gespeichert ist. Diese Auswahl muss weiterhin anhand des aktuellen Verfügbarkeit des Tests, des Ziels und der Abhängigkeiten geprüft werden. Es wird nicht automatisch ein Gewinner ausgewählt. Eine blockierte Auswahl erfordert Ihre Aufmerksamkeit und darf nicht als angewendet gemeldet werden. Für bestehende Teilnehmende können die jeweiligen Messzeiträume weiterlaufen.

Unbekannte Ergebnisse haben eine klare Folge: Schon ein einziges ungeklärtes unbekanntes Ergebnis kann eine statistische Empfehlung für diesen Durchlauf verhindern. Beschreibende Ergebnisse und eine ausdrückliche Auswahl durch Sie bleiben verfügbar. Ein manuell gestoppener Durchlauf ohne abgeschlossenen geplanten Analysezeitraum ist kein Beleg dafür, dass eine Variante gewonnen hat. Bei einem Wechsel zum Free-Tarif werden der Zugriff auf Experimente und neue Teilnahmen beendet und laufende Experimente sicher unterbrochen. Einträge im regulären Posteingang bleiben erhalten.

Häufig gestellte Fragen

Ist ein Vorschaugespräch ein A/B-Test?

Nein. Eine Vorschau prüft Beispielverhalten. Ein A/B-Test weist geeignetem echtem Traffic eine Version zu und misst ein vorab festgelegtes Ergebnis. Vorschau-Nachrichten dürfen weder als Versuchsteilnehmende noch als geschäftliche Erfolge gezählt werden.

Garantiert eine 50/50-Aufteilung gleich viele Nachrichten?

Nein. Die Aufteilung gilt für geeignete Teilnehmende, nicht für einzelne Nachrichten. Eine zufällige Zuteilung kann zu unterschiedlichen Teilnehmerzahlen führen, und die Teilnehmenden können unterschiedlich viele Nachrichten senden. Unerwartete Zuteilungsmuster müssen auf ihre Integrität geprüft werden.

Kann Receptionist automatisch einen Gewinner auswählen?

Der Traffic bleibt bei dem von Ihnen gewählten festen Verhältnis. Sie entscheiden, welche gespeicherte Version verwendet wird, entweder zum geplanten Ende oder nach einer Prüfung. Eine automatische Anpassung des Traffics und die Erstellung mit Anleitung durch AI Manager/MCP sind nicht enthalten.

Wer kann die Funktion nutzen?

Experimente müssen in Ihrem kostenpflichtigen Receptionist-Arbeitsbereich aktiviert und durch die Berechtigungen Ihres Teams erlaubt sein. Die native mobile App dient der Anzeige von Ergebnissen und zulässigen Steuerungen; die Erstellung erfolgt im Web. Die KI-Nutzung verbraucht weiterhin Credits.

Bringen Sie eine geplante Änderung und ein Geschäftsergebnis zu einem Gespräch über Receptionist mit. Demo buchen, um zu besprechen, ob dieser Testansatz zu Ihrem Traffic und Arbeitsablauf passt.

Quellen geprüft am 10. Oktober 2026. Microsofts historische Zahlen sind keine Prognose für Entagl oder Ihr Unternehmen. Eine Steigerung der Conversion wird nicht versprochen.