Score de confiance
Un score de confiance est une valeur entre 0 et 1 par laquelle un modèle d'IA exprime sa certitude quant à sa réponse. Dans de nombreux chatbots, le score décide si l'IA répond elle-même, pose une question de clarification ou transfère à un agent humain.
Qu'est-ce qu'un score de confiance ?
Un score de confiance est l'auto-évaluation quantifiée d'un modèle d'IA : à quel point suis-je sûr de cette réponse ? Les valeurs vont typiquement de 0 (incertain) à 1 (très sûr) et représentent une probabilité, pas une mesure absolue.
Dans de nombreux bots de messaging, le score de confiance pilote ce qui se passe après une question utilisateur : forte confiance → le bot répond ; moyenne → relance pour clarification ; faible → transfert à un agent humain.
Comment un score de confiance se forme
Les différents types de bots produisent des scores différemment :
| Type de bot | Comment la confiance est mesurée |
|---|---|
| Bot par mots-clés (autoresponder) | Match ou pas de match — pas de vrai score de confiance. La règle déclenche ou non. |
| Bot NLU (classification d'intention) | Probabilité que l'entrée utilisateur appartienne à l'intention X. Sortie : distribution de probabilité sur toutes les intentions. |
| Bot RAG (retrieval-augmented generation) | Similarité entre la question utilisateur et le meilleur chunk de base de connaissances, combinée à l'auto-évaluation du modèle. |
| Agent IA | Multi-étape : confiance dans le choix d'outil, confiance dans le résultat, total pondéré. |
Seuils
En pratique on travaille avec des seuils qui pilotent le comportement du système :
- ≥ 0,80 — l'IA répond seule. Forte certitude.
- 0,50 à 0,80 — l'IA pose une question de clarification (« Voulez-vous dire X ou Y ? »).
- < 0,50 — transfert à un agent humain.
Les seuils exacts dépendent du modèle et du cas d'usage. Pour les sujets critiques (santé, juridique, finance) ils sont plus hauts.
Score de confiance et logique de transfert
Chez SendSeven, les agents IA en chat transfèrent selon des règles, pas selon un score : par exemple quand le client demande une personne, qu'un mot-clé défini apparaît, que le nombre maximal de réponses du bot est atteint ou que l'agent ne trouve pas de réponse plusieurs fois de suite (2 par défaut), pour que le client ne reste pas coincé en boucle. Chaque réponse est comparée aux sources enregistrées avant l'envoi. Les agents e-mail, eux, utilisent un seuil : ils n'envoient automatiquement qu'au-dessus (80 par défaut), sinon ils enregistrent un brouillon pour l'équipe.
Les bots à mots-clés (autoresponders) n'ont aucun vrai score de confiance. Soit ils matchent, soit ils renvoient un texte de repli.
Causes fréquentes d'une confiance faible
- Question hors base de connaissances : Le client interroge un sujet qui n'a pas été ingéré.
- Formulation ambiguë : « J'ai un problème avec l'app » correspond à 15 sujets.
- Mauvaise langue : L'utilisateur écrit en anglais, le bot est entraîné en français.
- Orthographe/argot : Fautes de frappe ou jargon que le modèle ne reconnaît pas.
- Multi-intention : Le client pose deux questions à la fois — le modèle ne sait pas laquelle répondre en premier.
Visibilité de la confiance
Chez SendSeven, l'équipe voit un badge de confiance sur les Suggestions IA (suggestions de réponse dans la boîte de réception) et dans la Recherche IA : vert à partir de 70, jaune de 40 à 69, rouge en dessous de 40. Un score faible indique quelle suggestion vérifier avant l'envoi et signale souvent une lacune dans la base de connaissances.
Confiance vs justesse
Leçon importante : une forte confiance ne signifie pas une forte justesse. Un modèle peut être très confiant et pourtant se tromper (« hallucination »). La confiance est un signal, pas une garantie. Une configuration productive inclut donc toujours : un jeu de test avec vérité terrain, un échantillonnage régulier et une boucle de feedback des agents vers les gestionnaires de la base de connaissances.