Métrica Seq@K, testada em 7 benchmarks e 16 modelos, muda o ranking de IA quando há feedback

Pesquisadores da Columbia Business School e da Universidade da Califórnia em Santa Bárbara propuseram a métrica Seq@K. Ela mede se um modelo de linguagem resolve a tarefa até a K-ésima tentativa, quando recebe feedback após cada falha e pode corrigir a resposta. Os autores aplicaram o protocolo a 7 variantes de benchmarks e a 16 modelos de ponta. A conclusão: o ranking tradicional por pass@K, em que as tentativas são independentes e o modelo não vê nenhuma crítica, prevê mal como ele se comportará em um ciclo agêntico real de "resposta — comentário — correção".

Como o Seq@K difere do pass@K

O pass@K considera a tarefa resolvida se pelo menos uma das K respostas independentes passar na verificação. Cada candidata é gerada a partir do mesmo prompt inicial. No Seq@K, cada nova tentativa enxerga as respostas anteriores e os comentários sobre elas. Se a tentativa der certo, o ciclo é interrompido.

Os autores ressaltam que a métrica não substitui benchmarks agênticos como SWE-bench, WebArena ou MINT. Nesses testes, o sucesso depende de planejamento, uso de ferramentas e acompanhamento de estado. O Seq@K isola uma única habilidade: o quão bem o modelo corrige o próprio trabalho a partir de comentários.

O protocolo depende do modo de feedback. São três: apenas o veredito "passou/não passou"; diagnóstico bruto do sistema verificador (traces, testes que falharam, análise item a item da rubrica); e crítica escrita por um modelo de linguagem, o mesmo ou outro, com ou sem acesso à rubrica de avaliação.

O conjunto de tarefas abrange código (MBPP Pro e HumanEval Pro), seguimento de instruções complexas (AdvancedIF), raciocínio em um domínio específico (CLBench DKR) e respostas médicas avaliadas por rubricas (HealthBench).

Rankings, escolha de modelo e custo

A ordem dos modelos de fato muda ao passar para o Seq@K. No AdvancedIF, o Sonnet sobe da última posição, com tentativas independentes, para o grupo de cima. No CLBench DKR, há reordenações semelhantes.

Os autores testaram a consequência prática em uma tarefa de seleção de modelo. O engenheiro pega algumas tarefas de calibração, escolhe um modelo e depois o implanta com feedback sequencial em tarefas novas. Segundo o estudo, uma calibração curta por Seq@K escolhe o melhor modelo para esse cenário, com custo equivalente ou menor. O experimento usou MBPP Pro e HumanEval Pro, com as tarefas divididas em dois grupos: calibração em um e avaliação no outro, e vice-versa. O maior ganho apareceu no HumanEval Pro.

A distância entre os modelos também depende da métrica. No AdvancedIF, com feedback bruto, a diferença entre o melhor e o pior modelo diminui. No HumanEval Pro e no MBPP Pro, ao contrário, ela aumenta: os modelos aproveitam de maneiras distintas os detalhes sobre os testes que falharam. Ou seja, o pass@K pode tanto subestimar quanto superestimar as diferenças entre eles.

Há também um efeito sobre os custos. Tentativas sequenciais carregam um contexto cada vez maior, mas o sucesso costuma chegar mais cedo. Em dois benchmarks, a fronteira de Pareto (o conjunto de opções que não podem melhorar em custo sem perder qualidade) é melhor no Seq@K do que nas tentativas independentes. O efeito é mais evidente no DKR: a amostragem independente resolve apenas uma fração limitada das tarefas, enquanto o feedback sequencial chega bem mais alto. O melhor resultado ali foi do Opus 4.7.

Como os modelos corrigem as respostas e que tipo de crítica funciona

As trajetórias das tentativas mostram comportamentos que o percentual final não revela. Alguns modelos ganham já na primeira nova tentativa, outros só nas tardias. Parte dos modelos ignora os comentários e reenvia a mesma resposta, sem alterações. E uma correção que atende a todos os comentários pode quebrar requisitos que antes eram cumpridos.

A qualidade do próprio feedback também se mostrou uma variável. A utilidade de uma crítica informativa depende tanto do benchmark quanto da capacidade do modelo. Uma crítica escrita com base na rubrica de avaliação ajuda a corrigir muito mais requisitos que falharam. Já ao comprimir o histórico das tentativas anteriores em um resumo curto, a taxa de sucesso pode cair, e por isso os autores recomendam informar a forma de armazenar o histórico junto ao resultado do Seq@K.

Limitações

O Seq@K pressupõe feedback privilegiado: o crítico ou verificador conhece a resposta correta ou os critérios de avaliação. Isso acontece quando o usuário explica ao agente o que está errado, mas em cenários autônomos, sem verificador, a métrica não pode ser reproduzida. Além disso, o valor do Seq@K só está definido em conjunto com o modo de feedback, o verificador, os parâmetros de decodificação e o orçamento de tentativas, de modo que números de configurações diferentes não podem ser comparados.

A conclusão prática para equipes que constroem agentes: se o produto opera em um ciclo de correções, o modelo deve ser calibrado nesse mesmo ciclo. O feedback em si precisa ser projetado e testado separadamente, como parte do sistema.