Güven Skoru (Confidence Score)
Güven skoru, bir AI modelinin cevabından ne kadar emin olduğunu ifade eden 0 ile 1 arasındaki bir değerdir. Birçok chatbotta skor, AI'nın kendi başına yanıt verip vermeyeceğine, açıklayıcı bir soru sorup sormayacağına veya bir insan temsilciye devredip devretmeyeceğine karar verir.
Güven skoru nedir?
Güven skoru, bir AI modelinin nicelleştirilmiş öz-değerlendirmesidir: bu yanıttan ne kadar eminim? Değerler genellikle 0 (belirsiz) ile 1 (çok emin) arasında değişir ve mutlak bir ölçü değil, bir olasılığı temsil eder.
Birçok messaging botunda güven skoru bir kullanıcı sorusundan sonra ne olacağını yönlendirir: yüksek güven → bot yanıt verir; orta → açıklayıcı yanıt; düşük → bir insan temsilciye devir.
Bir güven skoru nasıl ortaya çıkar
Farklı bot türleri skorları farklı şekilde üretir:
| Bot türü | Güven nasıl ölçülür |
|---|---|
| Anahtar kelime bot (autoresponder) | Eşleşme veya değil — gerçek bir güven skoru yok. Kural tetiklenir veya tetiklenmez. |
| NLU bot (niyet sınıflandırması) | Kullanıcı girdisinin X niyetine ait olma olasılığı. Çıktı: tüm niyetler üzerinde olasılık dağılımı. |
| RAG bot (retrieval-augmented generation) | Kullanıcı sorusu ile en iyi eşleşen bilgi tabanı parçası arasındaki benzerlik, modelin öz-değerlendirmesi ile birleştirilir. |
| AI ajanı | Çok adımlı: araç seçiminde güven, sonuçta güven, ağırlıklı toplam. |
Eşikler
Pratikte sistem davranışını yönlendiren eşiklerle çalışılır:
- ≥ 0,80 — AI kendi başına yanıt verir. Yüksek kesinlik.
- 0,50 ile 0,80 arası — AI açıklayıcı bir soru sorar («X mi yoksa Y mi demek istediniz?»).
- < 0,50 — bir insan temsilciye devir.
Tam eşikler modele ve kullanım durumuna bağlıdır. Güvenlik açısından kritik konular için (sağlık, hukuk, finans) eşikler daha yüksektir.
Güven skoru ve devir mantığı
SendSeven'da sohbetteki AI ajanları skora göre değil, kurallara göre devreder: örneğin müşteri bir insanla görüşmek istediğinde, tanımlı bir anahtar kelime geçtiğinde, azami bot yanıt sayısına ulaşıldığında ya da ajan art arda birkaç kez yanıt bulamadığında (varsayılan 2). Böylece müşteri bir döngüde sıkışıp kalmaz. Her yanıt gönderilmeden önce yüklenen kaynaklarla karşılaştırılarak kontrol edilir. E-posta ajanları ise bir eşik kullanır: yalnızca bu eşiğin üzerinde otomatik gönderir (varsayılan 80), altında ekip için bir taslak kaydeder.
Anahtar kelime tabanlı botların (autoresponderlar) gerçek bir güven skoru hiç yoktur. Ya eşleşirler ya da bir geri dönüş metni döndürürler.
Düşük güvenin yaygın nedenleri
- Bilgi tabanı dışında soru: Müşteri, alınmamış bir konu hakkında sorar.
- Belirsiz ifade: «Uygulamayla bir sorunum var» 15 konuya uyar.
- Yanlış dil: Kullanıcı İngilizce yazar, bot Türkçe eğitilmiştir.
- Yazım/argo: Modelin tanımadığı yazım hataları veya jargon.
- Çoklu niyet: Müşteri aynı anda iki soru sorar — model hangisini önce yanıtlayacağını bilemez.
Güven görünürlüğü
SendSeven'da ekip, AI Önerileri'nde (gelen kutusundaki yanıt önerileri) ve AI Arama'da bir güven rozeti görür: 70 ve üzeri yeşil, 40 ile 69 arası sarı, 40'ın altı kırmızı. Düşük skor, hangi önerinin gönderilmeden önce kontrol edilmesi gerektiğini gösterir ve çoğu zaman bilgi tabanındaki bir boşluğa işaret eder.
Güven vs doğruluk
Önemli bir ders: yüksek güven, yüksek doğruluk anlamına gelmez. Bir model çok güvenli olabilir ve yine de yanılabilir («halüsinasyon»). Güven bir sinyaldir, garanti değil. Bu yüzden üretken bir kurulum her zaman şunları içerir: gerçek-zemine sahip bir test seti, düzenli örnekleme ve temsilcilerden bilgi tabanı bakımcılarına bir geri bildirim döngüsü.