DecisionPivot testou 40 modelos decisores: com a mesma acurácia, a diferença chega a 26 p.p.

Se o modelo decisor do seu pipeline de LLM atinge alta acurácia em um teste público, isso ainda não significa que ele tome decisões corretas. Os autores do DecisionPivot montaram um benchmark com 48 tarefas e 40 033 itens para mostrar essa diferença. Dois modelos de 27B parâmetros ficam a apenas 2,6 pontos de distância na trilha de referência, mas obtêm 70,1% e 44,2% de acurácia nos grupos contrastivos. A diferença é de 25,9 pontos, e a métrica agregada habitual não a enxerga.

Como o benchmark funciona

O DecisionPivot avalia modelos responsáveis por roteamento de requisições, guardrails e verificação de saídas. Ao todo, são sete papéis de decisão. O benchmark tem duas partes.

A trilha principal inclui 7 800 itens de 13 famílias de tarefas geradas. Os itens são organizados em grupos contrastivos: variações próximas de uma mesma tarefa em que um detalhe-chave muda, e a resposta correta muda junto com ele. As respostas são calculadas por programa e verificadas por solvers implementados de forma independente. A trilha de referência tem 32 233 itens de 35 conjuntos de teste públicos e mantém as métricas originais de cada um.

• 48 tarefas e 40 033 itens, sete papéis de decisão.
• 7 800 itens na trilha principal, 13 famílias de tarefas.
• 32 233 itens na trilha de referência, 35 conjuntos públicos.
• 40 modelos decisores e 14 modelos de uso geral.
• Métricas: acurácia por item e por grupo contrastivo, ordenação de probabilidades, calibração, cobertura seletiva empírica.

Onde as avaliações agregadas falham

O principal resultado diz respeito aos grupos contrastivos. Nesses grupos, o modelo só pontua se acertar todas as variantes. A métrica, portanto, pega os casos em que o decisor reage a sinais superficiais, e não ao detalhe que determina a resposta. O par de modelos de 27B, com resultados quase idênticos na trilha de referência, mostra como isso importa.

A segunda descoberta envolve probabilidades. Em 2 400 pares contrastivos binários, o Perplexity Decider coloca o item positivo acima do negativo em 92,3% dos casos. Porém, só acerta os dois itens do par em 74,1%. O modelo ordena bem as opções por confiança, mas o limiar de decisão dele dispara de forma imprecisa. Para sistemas em que o limiar define a decisão (deixar a requisição passar ou bloqueá-la), isso tem peso.

A terceira observação: modelos com acurácia por item parecida diferem na confiabilidade das previsões de alta confiança. Em cenários seletivos, nos quais o sistema processa automaticamente apenas os casos de alta confiança e encaminha o restante a uma pessoa, é isso que determina a taxa real de erros no fluxo automático.

Separadamente, os autores verificaram o efeito do modo de raciocínio. Em um subconjunto de 1 296 itens, o GLM-5.3 alcança 93,5% de acurácia nos grupos contrastivos com nível de raciocínio elevado e 81,5% com nível mínimo. A diferença de 12 pontos vem de um único modelo.

Como usar os resultados na prática

A equipe que escolhe um modelo para roteamento, moderação ou verificação deve incluir testes contrastivos na avaliação padrão. Para isso, basta montar um conjunto de pares próximos em que um único detalhe decisivo muda e calcular a proporção de pares resolvidos por completo. Também vale medir a calibração e a taxa de erros entre as previsões de alta confiança, pois dela depende quantas decisões podem ir para a automação.

Também é preciso fixar o modo de raciocínio ao comparar modelos. O resultado do GLM-5.3 mostra que o mesmo checkpoint pode se comportar de maneira diferente conforme a configuração, e por isso a comparação com as configurações padrão diz pouco sobre o comportamento em produção. Os autores observam que avaliaram os modelos seguindo os protocolos documentados de cada um, e vale adotar essa mesma abordagem em testes internos.