Incerteza mecanicista em LLMs: medindo a robustez causal dos mecanismos internos

O problema das alucinações em aplicações críticas

Modelos de linguagem grandes são amplamente usados em sistemas em que erros têm consequências graves — do diagnóstico médico à análise jurídica. O problema principal é que LLMs geram respostas que parecem convincentes, mas estão erradas: as alucinações. Os métodos tradicionais de estimativa de incerteza, baseados na análise de logits e probabilidades de saída, muitas vezes não dão conta dessa tarefa. É necessário um método que reflita diretamente a confiabilidade dos mecanismos internos do modelo.

Os pesquisadores Aneesh Komanduri, Majid Afshar, Timothy A. Miller e Yanjun Gao introduziram o conceito de incerteza mecanicista. Essa abordagem caracteriza a incerteza não pelas distribuições de saída, mas pela estabilidade dos mecanismos internos que sustentam a geração de uma resposta. Se as representações internas são sólidas e coerentes, a margem de robustez é ampla. Se são pouco confiáveis, a margem é estreita.

A margem de robustez causal e as ferramentas usadas

O conceito central do estudo é a margem de robustez causal. Trata-se da intervenção interna mínima necessária para que o modelo mude sua resposta. Quanto mais ampla a margem, com mais firmeza o modelo mantém sua escolha do ponto de vista da estrutura interna.

Para a implementação prática, os autores usam vetores de direção de conceitos do Jacobian Lens (JLens) — uma ferramenta de direcionamento de conceitos (concept steering) que permite modificar de forma direcionada as ativações dentro de um transformer. Os pesquisadores medem qual amplitude de intervenção precisa ser aplicada a esses vetores para desviar o modelo de sua previsão atual. Essa amplitude é exatamente a margem de robustez causal.

Resultados experimentais

O estudo abrangeu 3 modelos de linguagem abertos e 5 datasets do tipo pergunta-resposta. As conclusões são claras e reproduzíveis:

• Respostas incorretas apresentam margens de robustez causal significativamente mais estreitas do que as corretas • Respostas que o modelo gera com baixa confiança mostram sensibilidade aumentada a intervenções internas • A margem de robustez causal funciona de forma ortogonal aos métodos tradicionais: ela complementa, e não duplica, a informação das distribuições de saída

Validação por injeção de conhecimento

Para verificação adicional, os autores realizaram um experimento controlado de injeção de conhecimento. O modelo foi treinado com novos fatos e, após o treinamento, os conhecimentos corretamente absorvidos mostraram margens de robustez causal maiores. Essa é uma observação crucial: a margem de robustez responde a um aprendizado genuíno, e não apenas registra um artefato estatístico.

Implicações para desenvolvimento e segurança

A incerteza mecanicista oferece aos desenvolvedores uma ferramenta fundamentalmente nova. Em vez da admissão vaga de "não sabemos quando estamos errados", surge um método para analisar diretamente a robustez das representações internas do modelo. Isso é especialmente valioso para aplicações de alto risco: não se trata apenas de estimar uma probabilidade, mas de entender mecanisticamente com que firmeza o modelo sustenta sua escolha, analisando a sensibilidade de seus processos internos a intervenções.

O trabalho foi publicado em outubro de 2026 (arXiv 2610.22636).