Değişikliği Kalıcı Kılmadan Önce AI Resepsiyonistinizi A/B Testine Tabi Tutun

AI resepsiyonist A/B testi, kaydedilmiş sürümleri aynı tanımlı sonuca göre karşılaştırır. Kazananı aramadan önce güvenilir katılımcı kayıtlarına ihtiyaç vardır: Microsoft, geçmiş bir analizde testlerin yaklaşık %6'sında örneklem oranı uyumsuzluğu görüldüğünü bildirdi. Bu, gözlemlenen kitle dağılımının hedeflenen dağılımdan farklı olduğuna dair bir uyarıdır. Bu bir ölçüm dersidir, Entagl için bir hata oranı değildir. Microsoft Research

Yeni açılış sorunuz önizlemede kulağa daha iyi gelebilir. Gerçek müşterilerin rezervasyonlarını tamamlamasına yardımcı olup olmadığı ise farklı bir sorudur.

Ücretli Receptionist çalışma alanınızda deneyler etkinleştirildiğinde, bir değişikliği tanımlanmış bir iş sonucu ile karşılaştırabilirsiniz. Erişim, çalışma alanınıza ve ekip izinlerinize bağlıdır. Aşağıdaki örnekler varsayımsaldır, müşteri sonuçları değildir.

İlk olarak neyi test etmelisiniz?

Kanıtları gördükten sonra gerçekten farklı bir karar vereceğiniz bir konu seçin. Bir klinik, önce tercih edilen günü sormayı, müşterinin hangi hizmete ihtiyaç duyduğunu sormayla karşılaştırabilir. Bir mağaza, kısa bir ürün önerisini seçenekleri daraltmaya yönelik bir soruyla karşılaştırabilir.

Hipotezinizi açık bir dille yazın: “Müşteriye saat seçenekleri sunmadan önce hangi hizmeti istediğini sormak, onaylanmış rezervasyonları artıracaktır.” Ardından test başlamadan önce tek bir birincil sonuç seçin. Gerçek hedefiniz onay almaksa, daha olumlu göründüğü için sessizce mesaj sayısına geçmeyin.

Deneyimin geri kalanını sabit tutun. Teklif, model, talimatlar ve takip politikasını birlikte değiştirmek, bütün paketin işe yarayıp yaramadığını gösterebilir; ancak farkı hangi değişikliğin yarattığını söylemez. Sonuçları daha sonra yorumlayabilmek için yeni bir promosyon veya personel vardiya çizelgesindeki değişiklik gibi dış etkenleri kaydedin.

Ajanı işletme bilgileriyle eğitme rehberimiz, ajanın neleri bilmesi gerektiğini ele alıyor. Deney ise bu bilgiyi kullanma biçimini değiştirdiğinizde ne olduğunu sorar.

Receptionist sürümleri nasıl birbirinden ayırır?

Web akışı ajan tuvalinde başlar. A/B testleri bölümünü açın, tam olarak bağlı hesabı veya desteklenen web sitesi hedefini seçin ve ardından taslak oluşturun. A özgün ayarı kaydeder. B ise deneysel bir kopyadır. Taslağı canlı hesap yapılandırması olarak atamadan değişiklikleri inceleyebilirsiniz.

Tek bir bağlı hesabı hedefleyen test, çalışma alanının tamamında değişiklik yapmaz. Özellikle birden fazla hesap aynı kaynak işlem hattını paylaşıyorsa, görüntülenen hesap adını, kullanıcı adını veya numarayı kontrol edin. Web sitesi sunum ayarları birden fazla yerleştirme tarafından paylaşılabilir. Bu nedenle bir sonucu uygulamadan önce etkilenen hedefi gözden geçirin.

Sabit bir trafik dağılımı seçin. Bu oran test boyunca sabit kalır; o anda önde görünen sürüme doğru trafik otomatik olarak kaydırılmaz. Gerçek katılımcı sayıları, yapılandırılan yüzdelerle tam olarak örtüşmeyebilir. Mesaj sayıları ise farklıdır, çünkü bir katılımcı birden fazla mesaj gönderebilir.

Tasarım, test edilen yapılandırmayı ve atamayı gerçekte çalışandan ayrı olarak kaydeder. Teslimat başarısız olursa veya bir geri dönüş yöntemi kullanılırsa bu durum kanıtlarda görünür kalmalıdır. Bu katılımcıları çıkarmak, sorunlu bir sürümü müşterilerin yaşadığı deneyimden daha iyi gösterir.

Hangi test türü sorunuza yanıt verir?

Soru	Test türü	Sabit kalanlar
Farklı ajan davranışı yardımcı oluyor mu?	Kaydedilmiş iki işlem hattı sürümü	Takip politikası aynı kalır
Yapay zekâ ile yeniden etkileşim yardımcı oluyor mu?	Takip açık veya kapalı	Personel mesajları ve ilgisiz kampanyalar kapatılmaz
Web sitesi sohbeti nasıl görünmeli?	Başlatıcı, karşılama balonu veya otomatik açılma	Sohbet içeriği ve teklif sabit kalır

Bunlar farklı deneylerdir. Görüşme talimatlarıyla ilgili bir test, otomatik takibin de yardımcı olduğunu kanıtlamaz. Açılış paneliyle ilgili bir test de daha iyi bir rezervasyon görüşmesini kanıtlamaz.

Takip testlerinde, atanmış tüm uygun görüşmeleri sayın. Yalnızca başarıyla mesaj gönderilen kişileri saymak, başarısızlıkları dışarıda bırakır ve soruyu değiştirir. Mevcut ret tercihleri, insan temsilciye devir, kanal sınırları, finansman kontrolleri ve yapay zekâ duraklatma kuralları geçerliliğini korur.

Bir sonucu kullanışlı kılan nedir?

Ekranda daha yüksek bir sayı görmek yeterli değildir. Katılımcıların seçilen sonuca ulaşmak için yeterli zamanı olup olmadığını, takibin sağlıklı işleyip işlemediğini ve farkın işletmeniz için anlamlı olacak kadar büyük olup olmadığını kontrol edin.

Receptionist, bir görüşmenin başarılı olup olmadığına yapay zekâ modelinin karar vermesini istemek yerine kaydedilmiş olayları kullanır. Bekleyen ve sonucu bilinmeyen durumları korur. Ölçüm penceresi henüz tamamlanmamış bir müşteri otomatik olarak başarısız sayılmaz; eksik takip verisi de sıfır değildir.

Katılımcı alımını durdurmak ölçümü anında bitirmez. Atanmış kişiler, kendilerine tanınan süre içinde rezervasyonlarını hâlâ tamamlayabilir. Sonuç ekranı, tamamlanmış bir sonuç sunmadan önce bu veri toplama süresini göstermelidir.

Microsoft'un rehberi, zararlı etkileri sık sık izlemekle testin planlanan sonunda nihai karara varmayı birbirinden ayırır. Aynı ayrım resepsiyonist için de önemlidir: Gerektiğinde sorunlu bir deneyimi durdurun, ancak küçük bir erken fark cazip görünüyor diye kazanan ilan etmeyin. Microsoft Research

Bir değişikliği nasıl korur veya geri alırsınız?

Kaydedilmiş farkları ve bunları destekleyen görüşmeleri inceleyin. Bir deneyde Ana sürüm olarak kullan seçeneği, hedefi kontrol ederek gerçekleştireceğiniz bilinçli bir işlemdir. Test geçmişi, kaydedilmiş ayarı, tarihleri, sonuçları ve kararı saklar. Kaydedilmiş A sürümünü geri yüklemek ile devralınan yönlendirmeye dönmek farklı seçimlerdir: İlki belirli bir kaydedilmiş sürümü geri yükler; ikincisi geçerli üst yönlendirme kuralını izler.

Sonuçsuz kalan bir test sonuçsuz kalabilir. Bu, yeni bir çalışmada daha fazla kanıt toplamanız, uygulama açısından daha büyük bir değişiklik seçmeniz veya özgün ayarı korumanız gerektiğini gösterebilir. B sürümünü benimsemenizi zorunlu kılmaz.

Bu yaklaşım, müşterileri kaybetmeden AI ajanı kullanıma alma rehberindeki kontrollü dağıtım yöntemini temel alır. Kaydedilmiş geçmiş, kararı daha sonra incelemeyi kolaylaştırır; her değişikliğin mevcut izin veya bağımlılık kontrollerini atlayabileceği anlamına gelmez.

Test sona erdiğinde veya kanıt eksik olduğunda ne olur?

Planlanan bitişte varsayılan olarak normal yönlendirme kullanılır. Bunun yerine, varsa kayıtlı A, B veya C sürümünü önceden açıkça seçebilirsiniz. Planlanan bu seçimde de testin kullanılabilirliği, hedef ve bağımlılık kontrollerinin güncel olması gerekir; bu, otomatik kazanan seçimi değildir. Engellenen bir seçim için işlem yapmanız gerekir ve bu seçim uygulanmış gibi gösterilmemelidir. Mevcut katılımcılar, sonuç pencereleri boyunca devam edebilir.

Bilinmeyen sonuçların kesin bir sonucu vardır: Çözümlenmemiş tek bir bilinmeyen sonuç bile o çalışma için istatistiksel öneri verilmesini engelleyebilir. Açıklayıcı sonuçlar ve kullanıcının açıkça yaptığı bir seçim yine mümkündür. Planlanan analiz süresi tamamlanmadan elle durdurulan bir test, bir sürümün kazandığını kanıtlamaz. Ücretsiz plana geçildiğinde deneylere erişim ve yeni katılımcı alımı kapatılır, deney işlemleri güvenli biçimde kesintiye uğratılır. Gelen Kutusu'ndaki normal kayıtlar korunur.

Sık sorulan sorular

Önizleme görüşmesi bir A/B testi midir?

Hayır. Önizleme, örnek davranışları kontrol eder. A/B testi, uygun gerçek trafiği sürümlere atar ve önceden tanımlanmış bir sonucu ölçer. Önizleme mesajları deney katılımcısı veya iş başarısı olarak sayılmamalıdır.

50/50 dağılımı eşit mesaj sayısını garanti eder mi?

Hayır. Dağılım tek tek mesajlara değil, uygun katılımcılara uygulanır. Rastgele atama sonucunda katılımcı sayıları farklı olabilir ve katılımcılar farklı sayıda mesaj gönderebilir. Beklenmeyen atama örüntüleri için bütünlük kontrolü gerekir.

Receptionist kazananı otomatik olarak seçebilir mi?

Trafik, seçtiğiniz sabit oranda kalır. Hangi kaydedilmiş sürümü kullanacağınıza planlanan bitişte veya incelemeden sonra siz karar verirsiniz. Otomatik trafik uyarlaması ve AI Manager/MCP yönlendirmeli oluşturma bu özelliğe dahil değildir.

Bu özelliği kimler kullanabilir?

Deneylerin ücretli Receptionist çalışma alanınızda etkinleştirilmiş olması ve ekip izinlerinizin kullanımına izin vermesi gerekir. Yerel mobil uygulama sonuçları görüntülemek ve izin verilen kontrolleri kullanmak içindir; deney oluşturma işlemi web üzerinden yapılır. Yapay zekâ kullanımı kredi tüketmeye devam eder.

Önerdiğiniz bir değişikliği ve bir iş sonucunu Receptionist görüşmesine getirin. Bu test yaklaşımının trafiğinize ve iş akışınıza uygun olup olmadığını değerlendirmek için demo randevusu alın.

Kaynaklar 10 Ekim 2026 tarihinde kontrol edildi. Microsoft'un geçmiş verileri Entagl veya işletmeniz için tahmin niteliğinde değildir. Dönüşüm artışı vaat edilmez.