Pesquisadores propõem o CBE: seis modelos GPT e Qwen são reprovados em teste de competência

Os autores de um preprint que apareceu no Hugging Face Daily Papers propõem rever a forma de medir o raciocínio lógico de grandes modelos de linguagem. Em vez de um único número de acurácia em um conjunto de tarefas escolhido, eles introduzem a competence-based evaluation (CBE): o modelo só é considerado competente se aplicar a mesma habilidade de forma estável a toda uma família de tarefas. A verificação em seis modelos GPT e Qwen deu um resultado inequívoco. Em faixas limitadas de complexidade, a qualidade é bastante razoável, mas nem mesmo um modelo forte cumpre a condição de competência.

O que há de errado com os benchmarks convencionais

O benchmark padrão entrega uma única porcentagem de respostas corretas. Para os autores, esse número diz quase nada sobre generalização. O modelo pode resolver com segurança uma tarefa na formulação habitual e errar quando a mesma lógica é apresentada de outro modo. Outro problema é que o benchmark fixa as tarefas escolhidas. Se elas ficam na zona em que o modelo é forte, o resultado final parece convincente, embora, fora dela, a qualidade já seja outra.

Como funciona o CBE

A abordagem se apoia em dois mecanismos. O primeiro é um gerador parametrizado, que aumenta a complexidade mas mantém a mesma competência exigida. O segundo são conjuntos de representações equivalentes que preservam a resposta: a mesma tarefa é escrita de maneiras diferentes, e o resultado correto continua o mesmo. O modelo só passa no teste se der conta de toda a grade de tamanhos e formulações, e não apenas de um ponto isolado.

O primeiro exemplo prático dos autores foi construído com tarefas elementares de ordenação. O tamanho dos dados de entrada cresce, e a regra de ordenação é apresentada de várias formas. A tarefa é simples de propósito: se o modelo não aguenta as variações aqui, é ainda mais difícil esperar confiabilidade em raciocínios complexos.

• O que foi testado: seis modelos das famílias GPT e Qwen.
• Tarefa: ordenação elementar com tamanho de entrada crescente.
• Variações: diferentes formulações da mesma regra, com a mesma resposta correta.
• Resultado: qualidade aceitável em faixas limitadas de complexidade, mas nenhum modelo cumpriu a condição de competência, inclusive os mais fortes.
• Chain-of-thought e GRPO: ampliam a zona de bom desempenho, mas não eliminam todas as falhas encontradas.
• LoRA supervisionado: transferência fraca para dados held-out.

O que mostraram os métodos de melhoria

Os autores também testaram os métodos normalmente usados para tratar um raciocínio fraco. Chain-of-thought e o aprendizado por reforço GRPO empurram para frente o limite a partir do qual o modelo começa a errar, mas não fecham todas as falhas encontradas. O LoRA supervisionado se saiu pior: nos dados held-out, a transferência é mínima. Isso condiz com uma observação comum: o ajuste fino supervisionado em uma distribuição estreita tende a levar à memorização de padrões, em vez do aprendizado da regra. Mas essa é apenas a nossa interpretação, não uma conclusão do resumo do artigo.

Como usar essas ideias na prática

Equipes que escolhem um modelo para tarefas de lógica devem complementar os benchmarks padrão com testes parametrizados próprios. Pegue a regra que importa para o produto, gere tarefas de tamanho crescente e escreva cada uma em várias formulações. Depois, olhe não para a pontuação média, mas para o ponto exato em que a curva de acurácia se quebra. O mesmo vale para avaliar o resultado de um ajuste fino: se, depois do LoRA, a qualidade subiu apenas nos formatos já conhecidos, você melhorou a métrica, não o raciocínio.

Há ressalvas. A ordenação é uma classe estreita de tarefas, e o resumo do artigo não traz porcentagens concretas, então a dimensão das falhas só poderá ser vista no texto completo. Mesmo assim, os autores descrevem o protocolo como extensível: ele pode ser transferido para outros tipos de lógica e aplicado a novos modelos.