Benchmark CBE expõe falhas lógicas em seis modelos GPT e Qwen ao alterar formulações

Os benchmarks convencionais avaliam a capacidade dos modelos de linguagem pela porcentagem de acertos, mascarando a fragilidade de sua lógica interna. Diante disso, pesquisadores propuseram um protocolo alternativo de testes chamado Competence-Based Evaluation (CBE). O método verifica se a rede neural consegue sustentar a mesma regra lógica à medida que o problema ganha complexidade sob parâmetros estritamente definidos ou é reformulado com outras palavras. Experimentos com seis modelos das famílias GPT e Qwen revelaram uma falha sistêmica: os sistemas atingem precisão aceitável em faixas restritas de complexidade, mas entram em colapso com variações mínimas de contexto.

Gerador paramétrico contra heurísticas superficiais

Testes clássicos como GSM8k ou MMLU capturam apenas um recorte de erudição ou a resolução de padrões predefinidos, nos quais o modelo pode acertar a resposta baseando-se em correlações estatísticas. Em contrapartida, os autores do CBE implementaram um gerador paramétrico de tarefas voltado à ordenação básica. A estrutura do benchmark fixa a regra fundamental enquanto aumenta o volume dos dados de entrada e altera a embalagem semântica da pergunta. Se o modelo realmente dominasse a competência lógica, a mudança na formulação não deveria afetar o resultado, desde que a estrutura da resposta fosse mantida. Na prática, no entanto, a curva de precisão despenca à medida que as sequências aumentam.

Resultados de ajustes finos e limitações arquiteturais

Os testes expuseram os limites das abordagens atuais para otimizar raciocínio. O fine-tuning supervisionado com LoRA apresentou transferência quase nula para formulações nunca vistas: o adaptador apenas ajusta os pesos à sintaxe do conjunto de treinamento. Técnicas mais avançadas geraram resultados mistos:

• O Chain-of-thought reduz consideravelmente as alucinações casuais em listas de tamanho médio, mas atinge o próprio teto de contexto.
• O aprendizado por reforço via GRPO (Group Relative Policy Optimization) estende a faixa de estabilidade do raciocínio além do RLHF convencional.
• Nenhum dos seis modelos testados conseguiu cumprir o critério de competência estável em todo o intervalo de complexidade.
• A discrepância nos resultados entre prompts com mesmo significado, porém sintaxes distintas, chega a dezenas de pontos percentuais.

O setor atingiu um ponto em que inflar a precisão em benchmarks estáticos já não reflete a confiabilidade dos sistemas em engenharia. Para cenários corporativos críticos — da verificação de código à auditoria financeira —, a previsibilidade lógica sob entradas não padronizadas é indispensável. O protocolo CBE entrega aos desenvolvedores o perfil real de falhas de cada arquitetura. Enquanto os LLMs não aprenderem a generalizar regras de forma independente da estrutura textual do problema, construir fluxos agênticos autônomos exigirá verificação externa constante.