Score de confiance
Un score de confiance est une valeur entre 0 et 1 par laquelle un modèle d'IA exprime sa certitude quant à sa réponse. Dans les chatbots, le score décide si l'IA répond elle-même, pose une question de clarification ou transfère à un agent humain.
Qu'est-ce qu'un score de confiance ?
Un score de confiance est l'auto-évaluation quantifiée d'un modèle d'IA : à quel point suis-je sûr de cette réponse ? Les valeurs vont typiquement de 0 (incertain) à 1 (très sûr) et représentent une probabilité, pas une mesure absolue.
Dans un contexte de bot de messaging, le score de confiance pilote ce qui se passe après une question utilisateur : forte confiance → le bot répond ; moyenne → relance pour clarification ; faible → transfert à un agent humain.
Comment un score de confiance se forme
Les différents types de bots produisent des scores différemment :
| Type de bot | Comment la confiance est mesurée |
|---|---|
| Bot par mots-clés (autoresponder) | Match ou pas de match — pas de vrai score de confiance. La règle déclenche ou non. |
| Bot NLU (classification d'intention) | Probabilité que l'entrée utilisateur appartienne à l'intention X. Sortie : distribution de probabilité sur toutes les intentions. |
| Bot RAG (retrieval-augmented generation) | Similarité entre la question utilisateur et le meilleur chunk de base de connaissances, combinée à l'auto-évaluation du modèle. |
| Agent IA | Multi-étape : confiance dans le choix d'outil, confiance dans le résultat, total pondéré. |
Seuils
En pratique on travaille avec des seuils qui pilotent le comportement du système :
- ≥ 0,80 — l'IA répond seule. Forte certitude.
- 0,50 à 0,80 — l'IA pose une question de clarification (« Voulez-vous dire X ou Y ? »).
- < 0,50 — transfert à un agent humain.
Les seuils exacts dépendent du modèle et du cas d'usage. Pour les sujets critiques (santé, juridique, finance) ils sont plus hauts.
Score de confiance et logique de transfert
Les bots IA SendSeven supportent une logique d'escalade configurable : après max_failed_attempts réponses de faible confiance consécutives, le bot transfère automatiquement à un humain. La valeur par défaut est typiquement 2 ou 3 — pour que le client ne reste pas coincé en boucle.
Important : les bots à mots-clés (autoresponders) n'utilisent pas cette logique d'escalade, parce qu'ils n'ont pas de vrai score de confiance. Soit ils matchent, soit ils renvoient un texte de repli.
Causes fréquentes d'une confiance faible
- Question hors base de connaissances : Le client interroge un sujet qui n'a pas été ingéré.
- Formulation ambiguë : « J'ai un problème avec l'app » correspond à 15 sujets.
- Mauvaise langue : L'utilisateur écrit en anglais, le bot est entraîné en français.
- Orthographe/argot : Fautes de frappe ou jargon que le modèle ne reconnaît pas.
- Multi-intention : Le client pose deux questions à la fois — le modèle ne sait pas laquelle répondre en premier.
Visibilité de la confiance
Dans la vue agent, SendSeven affiche le score de confiance que le bot a attribué à une réponse. Les réponses de faible confiance sont marquées comme alertes — les agents peuvent corriger en ligne et remonter la lacune au gestionnaire de la base de connaissances. Le système apprend ainsi de chaque transfert.
Confiance vs justesse
Leçon importante : une forte confiance ne signifie pas une forte justesse. Un modèle peut être très confiant et pourtant se tromper (« hallucination »). La confiance est un signal, pas une garantie. Une configuration productive inclut donc toujours : un jeu de test avec vérité terrain, un échantillonnage régulier et une boucle de feedback des agents vers les gestionnaires de la base de connaissances.