Wynik zaufania (Confidence Score)
Wynik zaufania to wartość między 0 a 1, którą model AI wyraża, jak bardzo jest pewny swojej odpowiedzi. W wielu chatbotach wynik decyduje, czy AI odpowiada sama, zadaje pytanie doprecyzowujące czy przekazuje sprawę do ludzkiego agenta.
Czym jest wynik zaufania?
Wynik zaufania to skwantyfikowana samoocena modelu AI: jak bardzo jestem pewny tej odpowiedzi? Wartości zwykle mieszczą się w przedziale od 0 (niepewne) do 1 (bardzo pewne) i reprezentują prawdopodobieństwo, nie miarę absolutną.
W wielu botach messagingowych wynik zaufania steruje tym, co dzieje się po pytaniu użytkownika: wysokie zaufanie → bot odpowiada; średnie → dopytanie precyzujące; niskie → przekazanie do agenta-człowieka.
Jak powstaje wynik zaufania
Różne typy botów generują wyniki w różny sposób:
| Typ bota | Jak mierzone jest zaufanie |
|---|---|
| Bot słów kluczowych (autoresponder) | Dopasowanie albo brak — brak prawdziwego wyniku zaufania. Reguła odpala albo nie. |
| Bot NLU (klasyfikacja intencji) | Prawdopodobieństwo, że wejście użytkownika należy do intencji X. Wyjście: rozkład prawdopodobieństwa po wszystkich intencjach. |
| Bot RAG (retrieval-augmented generation) | Podobieństwo między pytaniem użytkownika a najlepiej dopasowanym fragmentem bazy wiedzy, połączone z samooceną modelu. |
| Agent AI | Wieloetapowy: zaufanie przy wyborze narzędzia, zaufanie do wyniku, ważona suma. |
Progi
W praktyce pracuje się z progami, które sterują zachowaniem systemu:
- ≥ 0,80 — AI odpowiada sama. Wysoka pewność.
- 0,50 do 0,80 — AI zadaje pytanie doprecyzowujące („Czy miałeś na myśli X czy Y?").
- < 0,50 — przekazanie do agenta-człowieka.
Dokładne progi zależą od modelu i przypadku użycia. Dla tematów krytycznych (zdrowie, prawo, finanse) progi są wyższe.
Wynik zaufania a logika przekazania
W SendSeven agenci AI na czacie przekazują rozmowę według reguł, a nie według wyniku: np. gdy klient prosi o człowieka, pojawia się zdefiniowane słowo kluczowe, osiągnięta zostaje maksymalna liczba odpowiedzi bota albo agent kilka razy z rzędu nie znajduje odpowiedzi (domyślnie 2), by klient nie utknął w pętli. Przed wysłaniem każda odpowiedź jest sprawdzana względem wgranych źródeł. Agenci e-mail korzystają natomiast z progu: wysyłają automatycznie tylko powyżej niego (domyślnie 80), poniżej zapisują szkic dla zespołu.
Boty oparte na słowach kluczowych (autorespondery) w ogóle nie mają prawdziwego wyniku zaufania. Albo dopasowują, albo zwracają tekst fallbacku.
Częste przyczyny niskiego zaufania
- Pytanie poza bazą wiedzy: Klient pyta o temat, który nie został wprowadzony.
- Dwuznaczne sformułowanie: „Mam problem z aplikacją" pasuje do 15 tematów.
- Niewłaściwy język: Użytkownik pisze po angielsku, bot wyszkolony po polsku.
- Pisownia/slang: Literówki lub żargon, których model nie rozpoznaje.
- Multi-intent: Klient zadaje dwa pytania naraz — model nie wie, na które odpowiedzieć najpierw.
Widoczność zaufania
W SendSeven zespół widzi znacznik zaufania przy Podpowiedziach AI (propozycjach odpowiedzi w skrzynce odbiorczej) i w Wyszukiwaniu AI: zielony od 70, żółty od 40 do 69, czerwony poniżej 40. Niski wynik pokazuje, którą podpowiedź sprawdzić przed wysłaniem, i często wskazuje lukę w bazie wiedzy.
Zaufanie vs poprawność
Ważna lekcja: wysokie zaufanie nie oznacza wysokiej poprawności. Model może być bardzo pewny i jednocześnie się mylić („halucynacja"). Zaufanie to sygnał, nie gwarancja. Dlatego produktywna konfiguracja zawsze obejmuje: zbiór testowy z prawdą gruntową, regularne próbkowanie i pętlę zwrotną od agentów do opiekunów bazy wiedzy.