Konfidenzscore
Der Konfidenzscore ist ein Wert zwischen 0 und 1, mit dem ein KI-Modell angibt, wie sicher es bei seiner Antwort ist. In vielen Chatbots entscheidet der Score, ob die KI selbst antwortet, eine Rückfrage stellt oder an einen menschlichen Mitarbeiter übergibt.
Was ist ein Konfidenzscore?
Der Konfidenzscore (englisch „Confidence Score") ist die quantifizierte Selbsteinschätzung eines KI-Modells: Wie sicher bin ich mir bei dieser Antwort? Der Wert liegt typischerweise zwischen 0 (unsicher) und 1 (sehr sicher) und ist eine Wahrscheinlichkeit, kein absolutes Maß.
In vielen Messaging-Bots steuert der Konfidenzscore, was nach einer Nutzer-Frage passiert: hohe Konfidenz → Bot antwortet selbst, mittlere Konfidenz → Rückfrage zur Klärung, niedrige Konfidenz → Übergabe an einen Mitarbeiter.
Wie ein Konfidenzscore entsteht
Verschiedene Modell-Typen erzeugen Scores unterschiedlich:
| Bot-Typ | Wie Konfidenz gemessen wird |
|---|---|
| Keyword-Bot (Autoresponder) | Treffer oder kein Treffer – kein echter Konfidenzscore. Entweder die Regel matcht oder sie matcht nicht. |
| NLU-Bot (Intent Classification) | Wahrscheinlichkeit, dass die Nutzer-Eingabe zu Intent X gehört. Ergebnis: Score-Verteilung über alle möglichen Intents. |
| RAG-Bot (Retrieval Augmented Generation) | Ähnlichkeit zwischen Nutzer-Frage und passendster Wissensdatenbank-Stelle, kombiniert mit Modell-Selbsteinschätzung. |
| KI-Agent | Mehrstufig: Konfidenz bei der Tool-Wahl, Konfidenz beim Ergebnis, gewichteter Gesamt-Score. |
Schwellenwerte (Thresholds)
In der Praxis arbeitet man mit Schwellen, die das System-Verhalten steuern:
- ≥ 0.80 – KI antwortet eigenständig. Hohe Sicherheit.
- 0.50 bis 0.80 – KI stellt eine klärende Rückfrage („Meinten Sie X oder Y?").
- < 0.50 – Übergabe an menschlichen Mitarbeiter.
Die genauen Werte hängen vom Modell und Anwendungsfall ab. Bei sicherheitskritischen Themen (Gesundheit, Recht, Finanzen) liegen die Schwellen höher.
Konfidenzscore und Übergabe-Logik
In SendSeven übergeben KI-Agenten im Chat nach Regeln, nicht nach Score: etwa wenn der Kunde einen Menschen sprechen möchte, ein festgelegtes Keyword fällt, die maximale Zahl an Bot-Antworten erreicht ist oder der Agent mehrmals in Folge keine Antwort findet (Standard: 2), damit der Kunde sich nicht im Kreis dreht. Jede Antwort wird vor dem Versand mit den hinterlegten Quellen abgeglichen. E-Mail-Agenten nutzen dagegen einen Schwellenwert: Nur darüber (Standard: 80) senden sie automatisch, darunter speichern sie einen Entwurf für das Team.
Keyword-basierte Bots (Autoresponder) haben gar keinen echten Konfidenzscore. Sie matchen entweder oder geben einen Fallback-Text aus.
Was niedrige Konfidenz typischerweise verursacht
- Frage außerhalb der Wissensbasis: Kunde fragt nach einem Thema, das nicht eingespielt ist.
- Mehrdeutige Formulierung: „Ich habe ein Problem mit der App" passt auf 15 Themen.
- Falsche Sprache: Nutzer schreibt auf Englisch, Bot ist auf Deutsch trainiert.
- Rechtschreibung/Slang: Tippfehler oder Jargon, den das Modell nicht erkennt.
- Multi-Intent: Kunde stellt zwei Fragen gleichzeitig – Modell weiß nicht, welche zuerst.
Konfidenzscore und Sichtbarkeit
In SendSeven sieht das Team eine farbige Konfidenzanzeige bei KI-Vorschlägen (Antwortvorschläge in der Inbox) und in der KI-Suche: grün ab 70, gelb von 40 bis 69, rot unter 40. Ein niedriger Wert zeigt, welchen Vorschlag man vor dem Senden prüfen sollte, und weist oft auf eine Lücke in der Wissensdatenbank hin.
Konfidenz vs. Korrektheit
Eine wichtige Lehre: Hohe Konfidenz heißt nicht hohe Korrektheit. Ein Modell kann sehr sicher sein und trotzdem falsch liegen („Halluzination"). Konfidenz ist nur ein Signal, kein Garant. Deshalb gehören zu jedem Produktiv-Setup: Test-Set mit Ground Truth, regelmäßige Stichproben, Feedback-Loop von Mitarbeitern an Wissensdatenbank-Pfleger.