Punteggio di confidenza
Un punteggio di confidenza è un valore tra 0 e 1 con cui un modello di IA esprime quanto è sicuro della propria risposta. In molti chatbot, il punteggio decide se l'IA risponde da sola, fa una domanda di chiarimento o passa la mano a un agente umano.
Cos'è un punteggio di confidenza?
Un punteggio di confidenza è l'autovalutazione quantificata di un modello di IA: quanto sono sicuro di questa risposta? I valori vanno tipicamente da 0 (incerto) a 1 (molto sicuro) e rappresentano una probabilità, non una misura assoluta.
In molti bot di messaging, il punteggio di confidenza guida cosa succede dopo una domanda dell'utente: alta confidenza → il bot risponde; media → domanda di chiarimento; bassa → passaggio a un agente umano.
Come nasce un punteggio di confidenza
Diversi tipi di bot producono punteggi in modo diverso:
| Tipo di bot | Come si misura la confidenza |
|---|---|
| Bot per parole chiave (autoresponder) | Match o no — niente vero punteggio di confidenza. La regola scatta o no. |
| Bot NLU (classificazione di intent) | Probabilità che l'input utente appartenga all'intent X. Output: distribuzione di probabilità su tutti gli intent. |
| Bot RAG (retrieval-augmented generation) | Similarità tra la domanda dell'utente e il miglior chunk della knowledge base, combinata con l'autovalutazione del modello. |
| Agente IA | Multi-step: confidenza nella scelta dello strumento, confidenza nel risultato, totale pesato. |
Soglie
In pratica si lavora con soglie che guidano il comportamento del sistema:
- ≥ 0,80 — l'IA risponde da sola. Alta certezza.
- Da 0,50 a 0,80 — l'IA fa una domanda di chiarimento («Intendevi X o Y?»).
- < 0,50 — passaggio a un agente umano.
Le soglie esatte dipendono dal modello e dal caso d'uso. Per i temi critici (salute, legale, finanza) le soglie sono più alte.
Punteggio di confidenza e logica di passaggio
In SendSeven, gli agenti IA in chat passano la conversazione in base a regole, non a un punteggio: ad esempio quando il cliente chiede una persona, compare una parola chiave definita, si raggiunge il numero massimo di risposte del bot o l'agente non trova una risposta più volte di seguito (2 di default), affinché il cliente non resti bloccato in un loop. Ogni risposta viene verificata rispetto alle fonti caricate prima dell'invio. Gli agenti email invece usano una soglia: inviano automaticamente solo sopra di essa (80 di default), altrimenti salvano una bozza per il team.
I bot basati su parole chiave (autoresponder) non hanno alcun vero punteggio di confidenza. O fanno match o restituiscono un testo di fallback.
Cause comuni di bassa confidenza
- Domanda fuori dalla knowledge base: Il cliente chiede di un argomento non ingerito.
- Formulazione ambigua: «Ho un problema con l'app» calza in 15 argomenti.
- Lingua sbagliata: L'utente scrive in inglese, il bot è addestrato in italiano.
- Ortografia/gergo: Refusi o gergo che il modello non riconosce.
- Multi-intent: Il cliente fa due domande in una volta — il modello non sa a quale rispondere prima.
Visibilità della confidenza
In SendSeven, il team vede un badge di confidenza sui Suggerimenti AI (suggerimenti di risposta nella inbox) e nella Ricerca AI: verde da 70, giallo da 40 a 69, rosso sotto 40. Un punteggio basso indica quale suggerimento controllare prima dell'invio e spesso segnala una lacuna nella knowledge base.
Confidenza vs correttezza
Lezione importante: alta confidenza non significa alta correttezza. Un modello può essere molto confidente e tuttavia sbagliare («allucinazione»). La confidenza è un segnale, non una garanzia. Quindi una configurazione produttiva include sempre: un test set con ground truth, campionamenti regolari e un loop di feedback dagli agenti ai responsabili della knowledge base.