Konfidenzscore
Der Konfidenzscore ist ein Wert zwischen 0 und 1, mit dem ein KI-Modell angibt, wie sicher es bei seiner Antwort ist. Im Chatbot-Kontext entscheidet der Score, ob die KI selbst antwortet, eine Rückfrage stellt oder an einen menschlichen Mitarbeiter übergibt.
Was ist ein Konfidenzscore?
Der Konfidenzscore (englisch „Confidence Score") ist die quantifizierte Selbsteinschätzung eines KI-Modells: Wie sicher bin ich mir bei dieser Antwort? Der Wert liegt typischerweise zwischen 0 (unsicher) und 1 (sehr sicher) und ist eine Wahrscheinlichkeit, kein absolutes Maß.
Im Messaging-Bot-Kontext steuert der Konfidenzscore, was nach einer Nutzer-Frage passiert: hohe Konfidenz → Bot antwortet selbst, mittlere Konfidenz → Rückfrage zur Klärung, niedrige Konfidenz → Übergabe an einen Mitarbeiter.
Wie ein Konfidenzscore entsteht
Verschiedene Modell-Typen erzeugen Scores unterschiedlich:
| Bot-Typ | Wie Konfidenz gemessen wird |
|---|---|
| Keyword-Bot (Autoresponder) | Treffer oder kein Treffer – kein echter Konfidenzscore. Entweder die Regel matcht oder sie matcht nicht. |
| NLU-Bot (Intent Classification) | Wahrscheinlichkeit, dass die Nutzer-Eingabe zu Intent X gehört. Ergebnis: Score-Verteilung über alle möglichen Intents. |
| RAG-Bot (Retrieval Augmented Generation) | Ähnlichkeit zwischen Nutzer-Frage und passendster Wissensdatenbank-Stelle, kombiniert mit Modell-Selbsteinschätzung. |
| KI-Agent | Mehrstufig: Konfidenz bei der Tool-Wahl, Konfidenz beim Ergebnis, gewichteter Gesamt-Score. |
Schwellenwerte (Thresholds)
In der Praxis arbeitet man mit Schwellen, die das System-Verhalten steuern:
- ≥ 0.80 – KI antwortet eigenständig. Hohe Sicherheit.
- 0.50 bis 0.80 – KI stellt eine klärende Rückfrage („Meinten Sie X oder Y?").
- < 0.50 – Übergabe an menschlichen Mitarbeiter.
Die genauen Werte hängen vom Modell und Anwendungsfall ab. Bei sicherheitskritischen Themen (Gesundheit, Recht, Finanzen) liegen die Schwellen höher.
Konfidenzscore und Übergabe-Logik
SendSeven AI-Bots haben eine konfigurierbare Eskalations-Logik: Nach max_failed_attempts niedrig-konfidenten Antworten in Folge übergibt der Bot automatisch an einen menschlichen Mitarbeiter. Default ist meist 2 oder 3 – damit der Kunde nicht im Kreis dreht.
Wichtig: Keyword-basierte Bots (Autoresponder) nutzen diese Eskalations-Logik nicht, weil sie keinen echten Konfidenzscore haben. Sie matchen entweder oder geben einen Fallback-Text aus.
Was niedrige Konfidenz typischerweise verursacht
- Frage außerhalb der Wissensbasis: Kunde fragt nach einem Thema, das nicht eingespielt ist.
- Mehrdeutige Formulierung: „Ich habe ein Problem mit der App" passt auf 15 Themen.
- Falsche Sprache: Nutzer schreibt auf Englisch, Bot ist auf Deutsch trainiert.
- Rechtschreibung/Slang: Tippfehler oder Jargon, den das Modell nicht erkennt.
- Multi-Intent: Kunde stellt zwei Fragen gleichzeitig – Modell weiß nicht, welche zuerst.
Konfidenzscore und Sichtbarkeit
In der Plattform-Ansicht für Service-Mitarbeiter zeigt SendSeven den Konfidenzscore, mit dem der Bot eine Antwort gegeben hat. Niedrig-konfidente Antworten sind als Warnung markiert – Mitarbeiter können nachträglich korrigieren und der Wissensdatenbank die Lücke melden. So lernt das System aus jeder Übergabe.
Konfidenz vs. Korrektheit
Eine wichtige Lehre: Hohe Konfidenz heißt nicht hohe Korrektheit. Ein Modell kann sehr sicher sein und trotzdem falsch liegen („Halluzination"). Konfidenz ist nur ein Signal, kein Garant. Deshalb gehören zu jedem Produktiv-Setup: Test-Set mit Ground Truth, regelmäßige Stichproben, Feedback-Loop von Mitarbeitern an Wissensdatenbank-Pfleger.