Wynik zaufania (Confidence Score)
Wynik zaufania to wartość między 0 a 1, którą model AI wyraża, jak bardzo jest pewny swojej odpowiedzi. W chatbotach wynik decyduje, czy AI odpowiada sama, zadaje pytanie doprecyzowujące czy przekazuje sprawę do ludzkiego agenta.
Czym jest wynik zaufania?
Wynik zaufania to skwantyfikowana samoocena modelu AI: jak bardzo jestem pewny tej odpowiedzi? Wartości zwykle mieszczą się w przedziale od 0 (niepewne) do 1 (bardzo pewne) i reprezentują prawdopodobieństwo, nie miarę absolutną.
W kontekście bota messagingowego wynik zaufania steruje tym, co dzieje się po pytaniu użytkownika: wysokie zaufanie → bot odpowiada; średnie → dopytanie precyzujące; niskie → przekazanie do agenta-człowieka.
Jak powstaje wynik zaufania
Różne typy botów generują wyniki w różny sposób:
| Typ bota | Jak mierzone jest zaufanie |
|---|---|
| Bot słów kluczowych (autoresponder) | Dopasowanie albo brak — brak prawdziwego wyniku zaufania. Reguła odpala albo nie. |
| Bot NLU (klasyfikacja intencji) | Prawdopodobieństwo, że wejście użytkownika należy do intencji X. Wyjście: rozkład prawdopodobieństwa po wszystkich intencjach. |
| Bot RAG (retrieval-augmented generation) | Podobieństwo między pytaniem użytkownika a najlepiej dopasowanym fragmentem bazy wiedzy, połączone z samooceną modelu. |
| Agent AI | Wieloetapowy: zaufanie przy wyborze narzędzia, zaufanie do wyniku, ważona suma. |
Progi
W praktyce pracuje się z progami, które sterują zachowaniem systemu:
- ≥ 0,80 — AI odpowiada sama. Wysoka pewność.
- 0,50 do 0,80 — AI zadaje pytanie doprecyzowujące („Czy miałeś na myśli X czy Y?").
- < 0,50 — przekazanie do agenta-człowieka.
Dokładne progi zależą od modelu i przypadku użycia. Dla tematów krytycznych (zdrowie, prawo, finanse) progi są wyższe.
Wynik zaufania a logika przekazania
Boty AI SendSeven obsługują konfigurowalną logikę eskalacji: po max_failed_attempts kolejnych odpowiedziach z niskim zaufaniem bot automatycznie przekazuje sprawę do człowieka. Wartość domyślna to zwykle 2 lub 3 — by klient nie utknął w pętli.
Ważne: boty oparte na słowach kluczowych (autorespondery) nie używają tej logiki eskalacji, ponieważ nie mają prawdziwego wyniku zaufania. Albo dopasowują, albo zwracają tekst fallbacku.
Częste przyczyny niskiego zaufania
- Pytanie poza bazą wiedzy: Klient pyta o temat, który nie został wprowadzony.
- Dwuznaczne sformułowanie: „Mam problem z aplikacją" pasuje do 15 tematów.
- Niewłaściwy język: Użytkownik pisze po angielsku, bot wyszkolony po polsku.
- Pisownia/slang: Literówki lub żargon, których model nie rozpoznaje.
- Multi-intent: Klient zadaje dwa pytania naraz — model nie wie, na które odpowiedzieć najpierw.
Widoczność zaufania
W widoku agenta SendSeven pokazuje wynik zaufania, który bot przypisał odpowiedzi. Odpowiedzi o niskim zaufaniu są oznaczane jako ostrzeżenia — agenci mogą poprawiać je w trybie inline i zgłaszać lukę do opiekuna bazy wiedzy. Dzięki temu system uczy się z każdego przekazania.
Zaufanie vs poprawność
Ważna lekcja: wysokie zaufanie nie oznacza wysokiej poprawności. Model może być bardzo pewny i jednocześnie się mylić („halucynacja"). Zaufanie to sygnał, nie gwarancja. Dlatego produktywna konfiguracja zawsze obejmuje: zbiór testowy z prawdą gruntową, regularne próbkowanie i pętlę zwrotną od agentów do opiekunów bazy wiedzy.