GRAPHEVAL: novo framework baseado em grafos mostra que o Self-Consistency esconde erros no raciocínio dos LLMs

Pesquisadores publicaram em julho de 2026 no arXiv um artigo com o framework GRAPHEVAL, voltado a avaliar a validade do raciocínio de modelos de linguagem. A principal conclusão: o método padrão Self-Consistency deixa passar sistematicamente erros lógicos, porque compara apenas as respostas finais e ignora por completo as etapas intermediárias do raciocínio.

Por que o Self-Consistency não percebe erros de raciocínio

O Self-Consistency (SC) é uma das formas mais populares de aumentar a confiabilidade dos modelos de linguagem. O princípio é simples: o modelo gera várias soluções para o mesmo problema, e depois uma votação por maioria escolhe a resposta final mais frequente. Isso filtra bem deslizes aleatórios, mas deixa um ponto cego.

Várias cadeias de raciocínio podem chegar à mesma resposta por caminhos lógicos totalmente diferentes, inclusive equivocados. O modelo parece confiante, o consenso é alcançado, mas a estrutura do raciocínio continua incoerente. Os autores chamam esse fenômeno de "alucinações confiantes": o modelo não expressa incerteza, mas suas etapas intermediárias não passam na verificação de coerência lógica.

O que o GRAPHEVAL propõe

O framework reformula a quantificação de incerteza (uncertainty quantification) como a medição da validade lógica de todo o espaço de raciocínio, e não apenas das respostas finais. Os autores apresentam duas ferramentas novas:

• GRCS (Graph Reasoning Coherence Score) é uma métrica que captura o consenso semântico e estrutural na representação em grafo do raciocínio. Ela detecta tanto o colapso de modo (mode collapse) patológico quanto as alucinações confiantes.
• GSC (Graph Self-Consistency) é uma estratégia de decodificação baseada em medoide: em vez de votar na resposta final, ela escolhe a cadeia de raciocínio estruturalmente mais próxima de todas as outras.

O GRCS mostrou-se a única métrica com correlação negativa consistente com o raciocínio incorreto, tanto em modelos grandes quanto em pequenos.

O que os experimentos mostraram

Os autores testaram o framework em modelos de diferentes escalas e registraram alguns padrões centrais:

• Em modelos pequenos, o GSC mostra com clareza o quanto o SC infla a precisão por meio de "acertos por sorte": os modelos frequentemente chegam à resposta certa por um caminho errado, e o SC não percebe.
• Em modelos mais potentes, o GSC mantém ou melhora a precisão e, ao mesmo tempo, aumenta a validade lógica do raciocínio.
• A ablação adversarial do medoide (adversarial medoid ablation) confirmou que o caminho escolhido pelo GSC é "estrutural": forçar um desvio dele reduz a validade do raciocínio e, em alguns casos, piora a precisão das respostas.

O que isso significa

As métricas de precisão padrão e o Self-Consistency mascaram um problema fundamental: modelos de linguagem podem acertar a resposta sem saber raciocinar corretamente. O GRAPHEVAL oferece ferramentas que separam a "capacidade de adivinhar" da "capacidade de pensar", e isso muda o referencial para comparar e avaliar modelos de linguagem, tanto no contexto acadêmico quanto no aplicado.

Perguntas frequentes

Em que o GSC difere do Self-Consistency padrão?

O SC padrão adota a resposta da maioria entre todas as soluções geradas. O GSC escolhe a cadeia de raciocínio estruturalmente mais próxima de todas as demais (o medoide). Isso permite avaliar o caminho lógico até a resposta, e não apenas o resultado final.

O GRAPHEVAL se aplica a modelos de qualquer tamanho?

Os autores testaram o framework em modelos de diferentes escalas. O GRCS apresentou correlação negativa estável com o raciocínio incorreto em todos os modelos testados. Já o efeito do GSC varia: em modelos pequenos, ele expõe a precisão inflada do SC; nos mais potentes, melhora os dois indicadores ao mesmo tempo.