MIT propõe métrica que detecta erros confiantes e alucinações de LLMs

Pesquisadores do MIT propuseram uma nova forma de medir a incerteza de grandes modelos de linguagem e de identificar com mais precisão os casos em que a IA responde com confiança, mas erra. A ideia é simples: o usuário precisa ver não só uma resposta bem escrita, mas também um sinal de quanto essa confiança merece crédito, sobretudo em tarefas em que o erro tem custo real.

Por que as métricas antigas falham

Hoje, uma das formas populares de checar a confiabilidade de um LLM é fazer a mesma pergunta várias vezes e ver se o modelo responde sempre do mesmo jeito. Se as respostas coincidem, isso costuma ser interpretado como alto nível de confiança.

O problema é que essa verificação mede apenas a consistência interna do próprio modelo. Ela mostra o quanto o modelo está seguro de si, mas não diz se ele realmente está certo. Para a interface, é um sinal conveniente, mas nem sempre útil.

É aí que surge um cenário perigoso: o modelo pode repetir indefinidamente a mesma resposta errada, mantendo a aparência de confiabilidade. Para o usuário, isso é especialmente arriscado em tarefas em que o erro sai caro, como medicina, finanças ou análise aplicada. Nesses casos, uma alucinação confiante parece mais convincente do que uma resposta cautelosa, porém honesta, com ressalvas.

Por isso, os pesquisadores decidiram medir não apenas a autoconfiança do modelo, mas também a probabilidade de ele ter sido uma boa escolha para aquela pergunta específica.

Como funciona o novo método

A equipe do MIT complementou a métrica habitual de autoconsistência com outro sinal: a divergência entre modelos. Em vez de perguntar várias vezes ao mesmo LLM, os pesquisadores comparam a resposta do modelo-alvo com as respostas de um pequeno grupo de modelos semelhantes, de escala e classe arquitetural comparáveis. Se esses modelos passam a divergir de forma notável no significado, isso é um indício importante de que a resposta original pode não ser confiável, mesmo que o modelo-alvo soe muito seguro.

Um ponto importante: o que se compara não é apenas a coincidência literal das formulações, mas a proximidade semântica das respostas. Essa abordagem reflete melhor a concordância ou discordância real entre os modelos do que uma simples comparação de palavras.

Segundo os pesquisadores, na prática o que funcionou melhor foi uma variante surpreendentemente simples: usar modelos criados por empresas diferentes. Esquemas mais sofisticados de seleção do conjunto foram testados, mas não trouxeram ganho em relação a essa estratégia direta e clara.

• Primeiro, escolhe-se o modelo-alvo, cuja resposta será avaliada.
• Depois, vários LLMs semelhantes recebem a mesma consulta.
• Em seguida, o sistema mede o quanto as respostas coincidem em significado.
• Esse indicador é combinado com a métrica usual de autoconsistência.
• O resultado é a métrica final de incerteza total (total uncertainty).

Os autores chamam o segundo componente de incerteza epistêmica: ele mostra o quanto o próprio modelo foi bem escolhido para a tarefa em questão. Somado à incerteza aleatória, que reflete a instabilidade interna da resposta, ele oferece um retrato mais completo do risco. Em outras palavras, o sistema verifica tanto se o modelo se confunde consigo mesmo quanto se ele diverge de outros modelos plausíveis.

Além disso, o método funciona em formato black-box: basta ter as respostas em texto, sem acesso a logits ou a estados internos do modelo.

Onde o método é mais útil

Os pesquisadores testaram a métrica combinada em dez tarefas realistas, incluindo cenários de perguntas e respostas, sumarização, tradução e raciocínio matemático. Na principal série de experimentos, compararam vários modelos ajustados por instruções e fizeram verificações adicionais com modelos acessados via API.

Nesses testes, o indicador de incerteza total identificou respostas pouco confiáveis de forma mais estável do que cada componente isolado. A nova abordagem se saiu especialmente bem onde existe uma única resposta correta, como em Q&A factual ou tradução.

Se um modelo repete a mesma resposta muitas vezes, isso ainda não

significa que a resposta esteja certa.

Há também uma limitação importante. Em tarefas mais abertas, em que vários bons resultados são aceitáveis, o sinal de divergência entre modelos pode ser menos útil. Ou seja, quando não se trata de um fato, mas de uma geração mais livre, a discordância entre modelos nem sempre indica erro. Os autores observam explicitamente que pretendem, no futuro, adaptar a técnica a esses cenários e investigar separadamente outras formas de avaliar a incerteza interna do modelo.

Outra vantagem prática é a economia computacional. Em alguns experimentos, o cálculo da incerteza total exigiu menos requisições do que a avaliação tradicional baseada apenas em autoconsistência. Isso significa não só menor custo de inference, mas potencialmente menor consumo de energia no uso em larga escala dessas verificações. Para produção, é um argumento relevante: se a métrica é ao mesmo tempo mais precisa e mais barata, ela tem muito mais chances de chegar a produtos reais de IA, em vez de ficar como uma ideia puramente acadêmica.

O que isso significa

Para a indústria, é um passo da avaliação de “quão confiante o modelo soa” para a de “quanto essa confiança merece crédito”. Se a abordagem pegar na produção, os serviços de IA poderão alertar com mais precisão sobre alucinações, e os usuários terão menos chances de tomar por resposta confiável um erro que soa convincente. Isso é particularmente importante em todos os cenários em que o LLM já não é um brinquedo, mas uma ferramenta de trabalho que influencia decisões, dinheiro e processos diários nas empresas.