Pontuação de Confiança
Uma pontuação de confiança é um valor entre 0 e 1 com o qual um modelo de IA expressa quão certo está da sua resposta. Em chatbots, a pontuação decide se a IA responde por si, faz uma pergunta de clarificação ou transfere para um agente humano.
O que é uma pontuação de confiança?
Uma pontuação de confiança é a autoavaliação quantificada de um modelo de IA: quão seguro estou desta resposta? Os valores variam tipicamente de 0 (incerto) a 1 (muito seguro) e representam uma probabilidade, não uma medida absoluta.
Num contexto de bot de messaging, a pontuação de confiança orienta o que acontece após uma pergunta do utilizador: confiança elevada → o bot responde; média → pergunta de clarificação; baixa → transferência para um agente humano.
Como surge uma pontuação de confiança
Diferentes tipos de bot produzem pontuações de forma diferente:
| Tipo de bot | Como a confiança é medida |
|---|---|
| Bot por palavras-chave (autoresponder) | Correspondência ou não — sem verdadeira pontuação de confiança. A regra dispara ou não. |
| Bot NLU (classificação de intenção) | Probabilidade de que a entrada do utilizador pertença à intenção X. Saída: distribuição de probabilidade sobre todas as intenções. |
| Bot RAG (retrieval-augmented generation) | Semelhança entre a pergunta do utilizador e o melhor chunk da base de conhecimento, combinada com a autoavaliação do modelo. |
| Agente IA | Multi-etapa: confiança na escolha de ferramenta, confiança no resultado, total ponderado. |
Limites (thresholds)
Na prática trabalha-se com limites que orientam o comportamento do sistema:
- ≥ 0,80 — a IA responde por si. Alta certeza.
- 0,50 a 0,80 — a IA faz uma pergunta de clarificação («Quer dizer X ou Y?»).
- < 0,50 — transferência para um agente humano.
Os limites exatos dependem do modelo e do caso de uso. Para temas críticos (saúde, legal, finanças) os limites são mais altos.
Pontuação de confiança e lógica de transferência
Os bots IA da SendSeven suportam uma lógica de escalada configurável: após max_failed_attempts respostas seguidas com baixa confiança, o bot transfere automaticamente para um humano. O valor por defeito é tipicamente 2 ou 3 — para que o cliente não fique preso num ciclo.
Importante: os bots baseados em palavras-chave (autoresponders) não usam esta lógica de escalada, porque não têm uma pontuação real de confiança. Ou correspondem, ou devolvem um texto de fallback.
Causas comuns de baixa confiança
- Pergunta fora da base de conhecimento: O cliente pergunta sobre um tema não ingerido.
- Formulação ambígua: «Tenho um problema com a app» encaixa em 15 temas.
- Idioma errado: O utilizador escreve em inglês, o bot foi treinado em português.
- Ortografia/calão: Erros ortográficos ou jargão que o modelo não reconhece.
- Multi-intenção: O cliente faz duas perguntas ao mesmo tempo — o modelo não sabe qual responder primeiro.
Visibilidade da confiança
Na vista do agente, a SendSeven mostra a pontuação de confiança que o bot atribuiu a uma resposta. As respostas de baixa confiança são marcadas como avisos — os agentes podem corrigir in-line e reportar a lacuna ao responsável pela base de conhecimento. Assim o sistema aprende com cada transferência.
Confiança vs correção
Lição importante: confiança elevada não significa correção elevada. Um modelo pode estar muito confiante e ainda assim estar errado («alucinação»). A confiança é um sinal, não uma garantia. Por isso uma configuração produtiva inclui sempre: um conjunto de teste com ground truth, amostragem regular e um ciclo de feedback dos agentes para os responsáveis da base de conhecimento.