Modelos de inteligência artificial (IA) se popularizaram por oferecem respostas rápidas e supostamente coerentes, mas, por vezes, as informações enviadas para os usuários não são corretas. Em vez de admitir que não sabem o que dizer, os sistemas acabam inventando informações, um fenômeno conhecido como alucinação. Esse tipo de falha pode trazer riscos e comprometer decisões importantes em áreas sensíveis como saúde, direito e educação. Um novo estudo da Universidade de Nanjing, na China, revela que os modelos de IA até reconhecem quando não sabem a resposta, mas produzem uma saída para o usuário não ficar sem resposta. A seguir, entenda porque as IAs mentem e inventam informações quando não sabem o que dizer.
🔎 IA gerencia loja em teste e falha: bot acredita ser humano e inventa clientes
🔔 Canal do TechTudo no WhatsApp: acompanhe as principais notícias, tutoriais e reviews
IAs podem mentir ou inventar informações quando não sabem as respostas certas; entenda
Reprodução/Getty Images
📝Inteligência artificial é perigosa? Veja no Fórum do TechTudo
Como o estudo foi feito?
Exemplos de falha e sucesso de abstenção em modelos de IA diante de perguntas sem resposta
Reprodução/arXiv
Os pesquisadores da Universidade de Nanjing criaram um conjunto de testes, combinando dois bancos de dados: o SUM, com 284 questões respondíveis e 284 sem resposta, todas verificadas manualmente, e o UMWP, formado a partir de coleções de problemas matemáticos já conhecidas. No total, foram 5.200 questões, das quais 600 foram usadas em testes balanceados entre perguntas com e sem resposta.
Para avaliar o desempenho, quatro métricas principais foram consideradas: taxa de abstenção, que mede quando o modelo corretamente responde “não sei”; precisão do motivo, que verifica se a explicação sobre a impossibilidade da resposta faz sentido; uso de tokens, que indica a eficiência durante o raciocínio; e precisão da resposta, que avalia o acerto em questões que realmente tinham solução. Essa metodologia permitiu comparar diferentes abordagens e mostrou que, quando estimuladas a se abster, as IAs se tornam mais confiáveis sem perder desempenho em problemas solucionáveis.
Por que a IA não admite que não sabe?
Gráfico mostra percentual de abstenções, alucinações e fixação cognitiva em diferentes modelos de IA
Reprodução/arXiv
Durante os testes, os pesquisadores observaram três comportamentos principais quando os modelos se deparavam com perguntas sem resposta. Em alguns casos, a IA identificava corretamente a impossibilidade e se abstinha, usando expressões de incerteza como “não sei”. Em outros, inventava detalhes para parecer convincente, chegando a inventar uma taxa de US$ 9,99 para justificar um resultado. Já no terceiro padrão, chamado de fixação cognitiva, o modelo ficava preso em um raciocínio inválido e repetia caminhos incorretos mesmo após perceber que a questão não tinha solução.
Os pesquisadores chineses apontam que grandes modelos de linguagem possuem mecanismos internos capazes de identificar quando uma pergunta não tem resposta. Apesar disso, raramente assumem essa limitação. Em muitos casos, ao invés de se abster, continuam gerando conteúdos, o que aumenta o risco de desinformação. O motivo estaria ligado ao design das próprias IAs, criadas para fornecer respostas úteis a qualquer custo, mesmo quando faltam dados. Esse comportamento é resultado de um desalinhamento: o sistema percebe que a questão é insolúvel, mas entrega uma resposta fabricada (e muitas vezes convincente) mesmo assim.
Caminhos para IAs mais confiáveis
O estudo chinês sugere soluções que envolvem monitorar o raciocínio interno das IAs e intervir antes que uma resposta inventada seja gerada. A proposta se baseia em detectar sinais de que o modelo já percebeu a impossibilidade de resolver a questão e, a partir disso, reforçar a opção de “não sei” como saída. Segundo os autores, essa técnica pode reduzir tanto a frequência de respostas erradas quanto o gasto de processamento.
A Meta também vem explorando caminhos nesse sentido, com a criação do benchmark AbstentionBench, que testa como os modelos reagem a mais de 35 mil perguntas sem resposta. O objetivo dessas iniciativas é desenvolver inteligências artificiais que não apenas respondam melhor, mas também saibam reconhecer seus próprios limites. Essa habilidade tornaria as interações entre humanos e IAs mais seguras e transparentes.
Com informações de arXiv e Unite AI
Mais do TechTudo
Veja também: A IA pode te ajudar no processo seletivo de uma vaga?
A IA pode te ajudar no processo seletivo de uma vaga?