Güven Skoru (Confidence Score)
Güven skoru, bir AI modelinin cevabından ne kadar emin olduğunu ifade eden 0 ile 1 arasındaki bir değerdir. Chatbotlarda skor, AI'nın kendi başına yanıt verip vermeyeceğine, açıklayıcı bir soru sorup sormayacağına veya bir insan temsilciye devredip devretmeyeceğine karar verir.
Güven skoru nedir?
Güven skoru, bir AI modelinin nicelleştirilmiş öz-değerlendirmesidir: bu yanıttan ne kadar eminim? Değerler genellikle 0 (belirsiz) ile 1 (çok emin) arasında değişir ve mutlak bir ölçü değil, bir olasılığı temsil eder.
Messaging bot bağlamında, güven skoru bir kullanıcı sorusundan sonra ne olacağını yönlendirir: yüksek güven → bot yanıt verir; orta → açıklayıcı yanıt; düşük → bir insan temsilciye devir.
Bir güven skoru nasıl ortaya çıkar
Farklı bot türleri skorları farklı şekilde üretir:
| Bot türü | Güven nasıl ölçülür |
|---|---|
| Anahtar kelime bot (autoresponder) | Eşleşme veya değil — gerçek bir güven skoru yok. Kural tetiklenir veya tetiklenmez. |
| NLU bot (niyet sınıflandırması) | Kullanıcı girdisinin X niyetine ait olma olasılığı. Çıktı: tüm niyetler üzerinde olasılık dağılımı. |
| RAG bot (retrieval-augmented generation) | Kullanıcı sorusu ile en iyi eşleşen bilgi tabanı parçası arasındaki benzerlik, modelin öz-değerlendirmesi ile birleştirilir. |
| AI ajanı | Çok adımlı: araç seçiminde güven, sonuçta güven, ağırlıklı toplam. |
Eşikler
Pratikte sistem davranışını yönlendiren eşiklerle çalışılır:
- ≥ 0,80 — AI kendi başına yanıt verir. Yüksek kesinlik.
- 0,50 ile 0,80 arası — AI açıklayıcı bir soru sorar («X mi yoksa Y mi demek istediniz?»).
- < 0,50 — bir insan temsilciye devir.
Tam eşikler modele ve kullanım durumuna bağlıdır. Güvenlik açısından kritik konular için (sağlık, hukuk, finans) eşikler daha yüksektir.
Güven skoru ve devir mantığı
SendSeven AI botları yapılandırılabilir bir yükseltme mantığını destekler: arka arkaya max_failed_attempts kadar düşük güvenli yanıttan sonra, bot otomatik olarak bir insana devreder. Varsayılan genellikle 2 veya 3'tür — böylece müşteri bir döngüde sıkışıp kalmaz.
Önemli: anahtar kelime tabanlı botlar (autoresponderlar) bu yükseltme mantığını kullanmaz çünkü gerçek bir güven skorları yoktur. Ya eşleşirler ya da bir geri dönüş metni döndürürler.
Düşük güvenin yaygın nedenleri
- Bilgi tabanı dışında soru: Müşteri, alınmamış bir konu hakkında sorar.
- Belirsiz ifade: «Uygulamayla bir sorunum var» 15 konuya uyar.
- Yanlış dil: Kullanıcı İngilizce yazar, bot Türkçe eğitilmiştir.
- Yazım/argo: Modelin tanımadığı yazım hataları veya jargon.
- Çoklu niyet: Müşteri aynı anda iki soru sorar — model hangisini önce yanıtlayacağını bilemez.
Güven görünürlüğü
Temsilci görünümünde SendSeven, botun bir yanıta atadığı güven skorunu gösterir. Düşük güvenli yanıtlar uyarı olarak işaretlenir — temsilciler satır içinde düzeltebilir ve boşluğu bilgi tabanı bakımcısına raporlayabilir. Böylece sistem her devirden öğrenir.
Güven vs doğruluk
Önemli bir ders: yüksek güven, yüksek doğruluk anlamına gelmez. Bir model çok güvenli olabilir ve yine de yanılabilir («halüsinasyon»). Güven bir sinyaldir, garanti değil. Bu yüzden üretken bir kurulum her zaman şunları içerir: gerçek-zemine sahip bir test seti, düzenli örnekleme ve temsilcilerden bilgi tabanı bakımcılarına bir geri bildirim döngüsü.