AOS-Bench mostra: agentes com diferença de 0,6 ponto entregam 54% e 68% das tarefas

Agentes de programação estão deixando de ser executores de pedidos pontuais para virar assistentes permanentes, que recebem um fluxo de trabalho: build, processamento de dados e correção de bugs ao mesmo tempo, tudo na mesma máquina. Uma equipe de cinco autores, liderada por Erle Zhu, lançou o AOS-Bench, um benchmark que avalia o sistema agêntico justamente como gerenciador dessa carga. O resultado central: o sucesso em isolamento prevê mal o sucesso em fluxo. Em cargas pesadas, cada um dos cinco sistemas testados perde de 13 a 23 pontos.

Por que os testes habituais não enxergam a fila

Os benchmarks existentes executam cada tarefa separadamente, em ambiente limpo e com folga total de recursos. O trabalho real é diferente. As tarefas chegam ao longo do tempo, e o próprio agente decide quando pegar uma nova, como delegá-la e quais rodar em paralelo. Ao mesmo tempo, ele precisa respeitar os limites de processador e memória. Se disparar tarefas demais, a máquina sufoca. Se disparar de menos, parte das tarefas nunca será tocada.

O AOS-Bench funciona assim: tarefas verificadas chegam ao longo do tempo e precisam ser entregues sob limites compartilhados de CPU e memória. As mesmas tarefas, executadas uma a uma, servem de referência para cada sistema. A diferença entre o resultado isolado e o resultado em fluxo mostra quanto da capacidade do agente se perde na gestão.

Onde os pontos se perdem

Os autores testaram cinco pares «modelo–harness». O quadro é irregular:

• em cargas pesadas, cada sistema perde de 13 a 23 pontos em relação ao sucesso isolado;
• em cargas médias, os sistemas divergem em 11 pontos no sucesso isolado, mas já em 26 pontos no sucesso em fluxo;
• dois sistemas com diferença de 0,6 ponto em isolamento entregam 54% e 68% das mesmas tarefas;
• com despacho sequencial, 73% das tarefas da carga pesada ficam sem ser iniciadas;
• a concorrência fixa igual a dois fica, no máximo, 4 pontos atrás da melhor política com gestão pelo agente, tanto em cargas médias quanto em pesadas;
• em qualquer política, a carga mediana da CPU permanece abaixo de 30% dos núcleos alocados enquanto as tarefas esperam na fila.

Intervenções na política de execução mostraram que grande parte da lacuna se explica pela aceitação de tarefas. O agente simplesmente não consegue, ou não decide, pegar o trabalho que está na fila. A qualidade da solução em si é secundária nesse caso.

Fila simples contra gerente inteligente

A conclusão mais incômoda diz respeito à complexidade. Seria de esperar que um agente que planeja sozinho a sobreposição de tarefas e distribui recursos levasse vantagem clara sobre um esquema primitivo. Na prática, um limite fixo de duas tarefas simultâneas chega a quatro pontos da melhor gestão agêntica. Enquanto isso, a máquina fica em grande parte ociosa: os núcleos ficam ocupados menos de 30% na mediana, embora haja trabalho pendente na fila.

Ou seja, o gargalo está na decisão de «pegar ou esperar», e não na falta de hardware. Os agentes são cautelosos demais ou avaliam mal o que pode rodar junto, e deixam recursos sem uso.

Os autores concluem que a gestão de carga deve ser tratada como uma capacidade própria dos agentes, medida separadamente da habilidade de resolver tarefas. Dois sistemas com resultados quase idênticos em isolamento se comportam de forma completamente diferente em fluxo, e os leaderboards convencionais não mostram isso.

A conclusão prática para equipes que implantam agentes de programação permanentes: escolher um sistema apenas por benchmarks de tarefa única não basta. Vale testar como ele se comporta com várias tarefas paralelas em uma máquina real. É preciso observar a fração de tarefas que chegou a ser iniciada e a carga da CPU durante a espera. Antes de montar uma orquestração complexa, é útil compará-la com uma fila rígida de dois slots: segundo o AOS-Bench, essa linha de base se mostra surpreendentemente forte. Para quem desenvolve harnesses, o teste aponta um ponto concreto de melhoria: a política de aceitação de tarefas, onde se perdem até 73% do trabalho potencial.

O preprint foi publicado no arXiv em 23 de outubro de 2026, e a segunda versão saiu em 27 de outubro.