Alucinação da IA

Uma alucinação da IA é uma resposta que uma IA formula de forma confiante e plausível, mas que é factualmente errada ou totalmente inventada. O modelo «adivinha» então uma resposta em vez de admitir que lhe falta a informação. No apoio ao cliente isso é arriscado, e o RAG, a verificação de cada resposta com as suas fontes antes do envio e a transferência para um humano travam o fenómeno.

O que é uma alucinação da IA?

Fala-se de uma alucinação da IA quando uma IA fornece uma resposta que soa convincente, mas que não está correta. O perigo está nisto: a resposta é linguisticamente impecável e parece segura. Apenas o conteúdo é falso ou inventado. Muitas vezes, o cliente não dá conta do erro.

A razão está no modo de funcionamento de um Large Language Model. Ele prevê a palavra seguinte mais provável e está concebido para produzir sempre uma resposta fluente, mesmo quando lhe falta a informação necessária. Em vez de dizer «Não sei», preenche a lacuna com uma suposição plausível. É precisamente isso a alucinação.

Porque é que isto é crítico para as empresas?

No apoio ao cliente, uma resposta inventada pode causar danos reais: um preço indicado de forma errada, um prazo de entrega prometido que não se pode cumprir ou um prazo de devolução inventado. Isso custa confiança e, em última análise, dinheiro. Por isso são necessários mecanismos de proteção. Três funcionam particularmente bem:

• RAG. A IA responde a partir da sua própria base de conhecimento, em vez de conhecimento geral. Se não encontra uma fonte adequada, não tem nada para inventar.
• Verificação antes do envio. Os preços, datas, números e links da resposta são verificados com as suas fontes. Os dados sem suporte são removidos ou corrigidos antes de o cliente os ver.
• Transferência para um humano. Se a IA não consegue ajudar ou o cliente pede para falar com uma pessoa, passa a conversa para um colaborador, em vez de adivinhar.

Além disso, ajuda um prompt engineering bem feito: uma instrução clara como «Se não tiveres a certeza, transfere para uma pessoa» reduz as alucinações de forma percetível.

Exemplo do mercado das PME

Uma agência de viagens em Lisboa usa um chatbot de IA para os primeiros pedidos. Um cliente pergunta: «Preciso de visto para o Canadá?» Sem proteção, o modelo talvez inventasse uma resposta concreta, mas desatualizada.

Com os mecanismos certos, decorre de forma diferente. A IA procura na base de conhecimento por «entrada no Canadá». Se não encontrar ali um registo atual, a IA não adivinha e responde com honestidade: «Vou já verificar isso para si», e transfere para um consultor de viagens. Em vez de uma informação falsa arriscada, o cliente recebe uma resposta fiável de uma pessoa. Assim, mantém-se a rapidez da automatização sem que a agência responda por afirmações inventadas.

Conter as alucinações com a SendSeven

A SendSeven é uma plataforma de mensagens unificada para todos os canais numa só caixa de entrada: WhatsApp, Telegram, SMS, Instagram, Messenger, e-mail, Live Chat e notificações push do navegador. O assistente de IA está protegido de raiz contra alucinações: responde por RAG a partir da sua base de conhecimento, verifica preços, datas e links com as suas fontes antes do envio e transfere para a sua equipa quando não consegue ajudar.

Esta transferência híbrida entre humano e IA é o cerne: a IA assume aquilo que as suas fontes cobrem e passa o resto às pessoas. Não adivinha: a sua equipa assume a conversa. Em conformidade com o RGPD, alojado na UE, Made in Germany. Experimente 14 dias gratuitamente, sem cartão de crédito.