Competência em vez de precisão: por que GPT e Qwen perdem a lógica quando a formulação muda

Pesquisadores da Universidade de Illinois Urbana-Champaign publicaram um estudo que questiona a confiabilidade dos métodos atuais de avaliação do raciocínio lógico em grandes modelos de linguagem (LLMs). A nova metodologia Competence-Based Evaluation (CBE) revelou uma inconsistência fundamental: modelos que apresentam alta precisão em benchmarks padrão não conseguem aplicar de forma estável a mesma regra lógica quando a formulação ou a dificuldade da tarefa muda.

O problema da avaliação atual do raciocínio lógico

Apesar dos avanços impressionantes dos grandes modelos de linguagem em tarefas diversas, o raciocínio lógico ainda apresenta problemas sérios, incluindo a falta de consistência diante de variações linguísticas. Os benchmarks atuais avaliam os modelos por meio de um único indicador: a precisão em um conjunto escolhido de tarefas. Essa abordagem não revela se o modelo é capaz de generalizar e transferir conhecimento para novas variantes da mesma tarefa.

A metodologia Competence-Based Evaluation

Os pesquisadores propõem um paradigma alternativo de avaliação, o CBE, que verifica se os modelos conseguem aplicar de forma confiável o mesmo conhecimento a toda uma família de problemas relacionados. A ideia central é usar um gerador de tarefas parametrizado que escala a dificuldade mantendo fixa a competência exigida. Representações de resposta consistentes testam a correção da lógica além de uma formulação específica.

A metodologia foi aplicada a tarefas elementares de ordenação (ordering tasks), nas quais o tamanho da entrada foi escalado e as formas de apresentar a mesma regra de ordenação foram variadas.

Resultados dos testes com seis modelos das famílias GPT e

Qwen

Seis modelos das famílias GPT e Qwen foram testados. Os resultados foram esclarecedores:

• Desempenho em faixas limitadas: os modelos mostraram desempenho aceitável dentro de faixas de dificuldade limitadas, mas até os modelos mais fortes falharam no teste de competência quando a família de tarefas foi ampliada

• Chain-of-Thought (CoT) e GRPO: técnicas de raciocínio explícito (chain-of-thought) e o método GRPO ampliaram a faixa de bom desempenho, mas não eliminaram todos os erros identificados na transferência de conhecimento lógico

• Supervised LoRA: a abordagem de LoRA supervisionado mostrou transferência mínima de conhecimento para dados novos que o modelo não tinha visto antes

Esses resultados apontam para um problema mais profundo: a métrica padrão de precisão não se correlaciona com a confiabilidade da transferência lógica e da generalização.

Perspectivas e implicações para o desenvolvimento de LLMs

A metodologia CBE fornece perfis de diagnóstico detalhados de cada modelo e propõe um protocolo de avaliação capaz de evoluir junto com as futuras gerações de modelos. O estudo reforça a necessidade de repensar como medimos as capacidades lógicas dos LLMs — não apenas elevando a precisão geral, mas garantindo confiabilidade e estabilidade na aplicação do conhecimento diante de variações na tarefa.