Pontuação de Confiança
Uma pontuação de confiança é um valor entre 0 e 1 com o qual um modelo de IA expressa quão certo está da sua resposta. Em muitos chatbots, a pontuação decide se a IA responde por si, faz uma pergunta de clarificação ou transfere para um agente humano.
O que é uma pontuação de confiança?
Uma pontuação de confiança é a autoavaliação quantificada de um modelo de IA: quão seguro estou desta resposta? Os valores variam tipicamente de 0 (incerto) a 1 (muito seguro) e representam uma probabilidade, não uma medida absoluta.
Em muitos bots de messaging, a pontuação de confiança orienta o que acontece após uma pergunta do utilizador: confiança elevada → o bot responde; média → pergunta de clarificação; baixa → transferência para um agente humano.
Como surge uma pontuação de confiança
Diferentes tipos de bot produzem pontuações de forma diferente:
| Tipo de bot | Como a confiança é medida |
|---|---|
| Bot por palavras-chave (autoresponder) | Correspondência ou não — sem verdadeira pontuação de confiança. A regra dispara ou não. |
| Bot NLU (classificação de intenção) | Probabilidade de que a entrada do utilizador pertença à intenção X. Saída: distribuição de probabilidade sobre todas as intenções. |
| Bot RAG (retrieval-augmented generation) | Semelhança entre a pergunta do utilizador e o melhor chunk da base de conhecimento, combinada com a autoavaliação do modelo. |
| Agente IA | Multi-etapa: confiança na escolha de ferramenta, confiança no resultado, total ponderado. |
Limites (thresholds)
Na prática trabalha-se com limites que orientam o comportamento do sistema:
- ≥ 0,80 — a IA responde por si. Alta certeza.
- 0,50 a 0,80 — a IA faz uma pergunta de clarificação («Quer dizer X ou Y?»).
- < 0,50 — transferência para um agente humano.
Os limites exatos dependem do modelo e do caso de uso. Para temas críticos (saúde, legal, finanças) os limites são mais altos.
Pontuação de confiança e lógica de transferência
Na SendSeven, os agentes IA no chat transferem segundo regras, não segundo uma pontuação: por exemplo, quando o cliente pede para falar com uma pessoa, surge uma palavra-chave definida, é atingido o número máximo de respostas do bot ou o agente não encontra resposta várias vezes seguidas (2 por defeito), para que o cliente não fique preso num ciclo. Cada resposta é verificada com as fontes carregadas antes do envio. Já os agentes de email usam um limiar: só enviam automaticamente acima dele (80 por defeito); abaixo, guardam um rascunho para a equipa.
Os bots baseados em palavras-chave (autoresponders) não têm qualquer pontuação real de confiança. Ou correspondem, ou devolvem um texto de fallback.
Causas comuns de baixa confiança
- Pergunta fora da base de conhecimento: O cliente pergunta sobre um tema não ingerido.
- Formulação ambígua: «Tenho um problema com a app» encaixa em 15 temas.
- Idioma errado: O utilizador escreve em inglês, o bot foi treinado em português.
- Ortografia/calão: Erros ortográficos ou jargão que o modelo não reconhece.
- Multi-intenção: O cliente faz duas perguntas ao mesmo tempo — o modelo não sabe qual responder primeiro.
Visibilidade da confiança
Na SendSeven, a equipa vê um selo de confiança nas Sugestões de IA (sugestões de resposta na caixa de entrada) e na Pesquisa com IA: verde a partir de 70, amarelo de 40 a 69, vermelho abaixo de 40. Uma pontuação baixa mostra que sugestão verificar antes de enviar e aponta muitas vezes para uma lacuna na base de conhecimento.
Confiança vs correção
Lição importante: confiança elevada não significa correção elevada. Um modelo pode estar muito confiante e ainda assim estar errado («alucinação»). A confiança é um sinal, não uma garantia. Por isso uma configuração produtiva inclui sempre: um conjunto de teste com ground truth, amostragem regular e um ciclo de feedback dos agentes para os responsáveis da base de conhecimento.