Cientistas avaliam a incerteza de LLMs pela robustez dos mecanismos internos em 3 modelos

Uma equipe de pesquisadores propôs medir a incerteza de um grande modelo de linguagem não pelo que ele entrega na saída, mas pela firmeza com que a resposta se sustenta por dentro. O método foi testado em três modelos abertos e em cinco conjuntos de dados de perguntas e respostas. Nesses testes, as respostas incorretas e incertas se mostraram "frágeis": bastava uma intervenção interna menor para deslocá-las do que para deslocar as respostas corretas.

O trabalho foi publicado no Hugging Face Daily Papers. Os autores introduzem o conceito de mechanistic uncertainty, ou incerteza mecanística.

Como funciona a métrica

Os métodos usuais de estimar a confiança de um LLM olham para a saída: probabilidades dos tokens, entropia, consistência entre várias respostas geradas. Todos mostram como o modelo responde, mas não revelam no que essa resposta se apoia.

Os autores partem de outro ponto. Eles definem o causal robustness margin, a margem causal de robustez. Trata-se da menor magnitude de intervenção interna com a qual a resposta do modelo muda. Se a resposta se quebra com facilidade, o mecanismo que a sustenta é fraco. Se é preciso uma ação forte para isso, a resposta é robusta.

Na prática, a intervenção é feita por meio de vetores de controle conceituais (steering vectors), construídos com o Jacobian Lens, abreviado como Jlens. A ideia dos steering vectors é deslocar as ativações do modelo ao longo de uma direção escolhida e observar como o comportamento muda. A margem equivale ao "custo" desse deslocamento. Os detalhes da construção dos vetores não são revelados no resumo e precisam ser consultados no próprio artigo.

O que mostraram os experimentos

O resumo descreve o conjunto de verificações assim:

• modelos: três LLMs abertos;
• dados: cinco datasets de perguntas e respostas;
• resultado principal: respostas incorretas e incertas têm margem menor, ou seja, são mais sensíveis a intervenções internas;
• complementaridade: o causal robustness margin complementa os métodos tradicionais de estimativa de incerteza pela saída do modelo, sem substituí-los;
• experimento controlado: depois do treinamento com fatos injetados, a margem dos conhecimentos corretamente assimilados aumenta.

O último ponto talvez seja o mais interessante. Os autores treinaram o modelo deliberadamente com fatos novos e observaram como a métrica mudava. Quando o fato é assimilado corretamente, o suporte interno da resposta fica mais firme, e a margem registra isso. Assim, a métrica passa por um teste de causalidade, em vez de ser avaliada só pela correlação com o acerto em datasets prontos.

O resumo não traz valores concretos de AUROC nem de outras métricas de qualidade, e também não cita os nomes dos modelos e dos datasets. Com esses dados, não é possível avaliar quanto a margem melhora a detecção de erros em relação aos métodos de referência.

Onde isso pode ser útil

As alucinações continuam sendo o principal obstáculo para o uso de LLMs em medicina, direito e finanças. Nessas áreas, uma resposta sozinha não basta: é preciso um sinal de quanto ela merece confiança. As estimativas de confiança baseadas na saída muitas vezes enganam: o modelo pode errar com convicção. Um sinal interno oferece um segundo canal independente de verificação.

Para desenvolvedores, daí saem três conclusões:

• A métrica pode ser vista como uma camada adicional aos avaliadores de confiança existentes, e não como substituta deles.
• O método exige acesso às ativações internas. Ele se aplica a modelos abertos e não funciona com APIs fechadas, que devolvem apenas texto.
• Intervir nas ativações consome recursos computacionais. Quanto custa calcular a margem a cada requisição não fica claro pelo resumo, e para produção essa é a pergunta-chave.

Trata-se de um trabalho de pesquisa. Os resultados vêm de três modelos abertos e cinco tarefas de QA, e a transposição para gerações longas, modelos de raciocínio e cenários com agentes ainda precisa ser verificada. Mas a direção é clara: avaliar a confiabilidade da resposta pela estrutura causal do modelo, e não só pelas estatísticas da saída.