TAO acelera agentes de IA: primeiro token até 36% mais rápido, tarefas até 27%

Quando um agente de IA corrige um bug em um repositório, ele não fica só pensando. O modelo emite um comando, um compilador, testes ou um mecanismo de busca em processadores separados o executam, o resultado volta ao modelo, e isso se repete dezenas de vezes. Pesquisadores da Universidade Jiao Tong de Xangai chamaram esse arranjo de CGDC: um cluster de GPUs para inferência mais CPUs espalhadas pela rede para as ferramentas.

Eles propuseram o TAO, um escalonador que decide quais agentes colocar na GPU e em qual nó exatamente, levando em conta quando a resposta da ferramenta de cada agente vai voltar. Em comparação com o melhor concorrente em cada métrica, o TAO reduz a latência de execução da tarefa em até 26,8% e o tempo médio até o primeiro token após a retomada da sessão (TTFT) em até 36,3%, e aumenta a velocidade de geração (tokens por segundo) em até 29,5%.

Por que a GPU e o cache sofrem enquanto o agente espera a ferramenta

Enquanto a ferramenta trabalha, o agente não precisa da GPU. A sessão pode ser pausada e o espaço, cedido a outros. Mas a pausa tem custo. O modelo guarda na memória o KV-cache: a representação já calculada do histórico da conversa. Se a sessão volta rápido ao mesmo nó, o prefixo é reaproveitado e não é preciso reprocessar todo o contexto. Se demora, o cache é descartado, e o recálculo consome capacidade.

Os autores demonstraram isso com traces do DeepSeek-V4 Flash em dois nós H100: a fração de cache preservado cai de forma visível conforme a idade da observação, com a curva construída em um intervalo de até 1 800 segundos.

Na avaliação dos autores, os sistemas existentes cometem dois erros:

• Usam o tempo de execução da ferramenta apenas como sinal indireto para retenção de cache ou contagem de tokens, e não como um indicador independente de que a sessão está pronta.
• Avaliam cada sessão isoladamente, com heurísticas. Mas as sessões disputam a mesma capacidade, e a escolha gulosa de uma pode expulsar uma combinação mais vantajosa de outras.

Três números em ordem estrita e um problema de mochilas

Para cada par «sessão em espera — nó», o TAO calcula uma tripla de números, comparados em ordem, como palavras em um dicionário:

• Crédito de cache. Quantos tokens dessa sessão, segundo as observações, estão naquele nó. Observações antigas decaem de forma exponencial, com uma meia-vida definida. Se não há dados sobre o nó, o crédito é zero.
• Prontidão para retorno. Um indicador binário: a ferramenta vai voltar na próxima janela de escalonamento? A previsão é construída a partir de dicas das próprias ferramentas (o Claude Code tem o Monitor; o OpenCode, uma mensagem de timeout do Bash), de comandos sleep analisados e do histórico de durações. Se não há nada disso, assume-se o padrão de cinco segundos. Previsões vencidas recebem chances de teste temporárias, para que a sessão não fique «pronta» para sempre.
• Número de tokens. Em caso de empate nos dois primeiros, ganham os contextos mais longos.

A ordem é fixa, e os valores mudam com o tempo. Por isso não são necessários pesos manuais em uma soma.

Em seguida, entra em ação um algoritmo exato de programação dinâmica. O problema lembra o clássico das «várias mochilas»: cada nó tem uma capacidade residual, cada sessão tem um custo de admissão, e é preciso reunir o máximo de valor total. A solução é exata para um instantâneo congelado do estado, embora o arredondamento da capacidade possa excluir planos que eram viáveis antes dele. O escalonador roda em um processo assíncrono separado e, antes de aplicar o plano, o verifica contra o estado atual. Segundo os autores, a preparação e o cálculo levam menos de 0,12% do tempo de execução no teste com quatro réplicas.

O que mostraram as medições em H100

Foram testados três modelos: DeepSeek-V4 Flash em dois nós H100, Qwen3-32B em quatro e GLM-4.7 em um. As cargas foram estas: SWE-bench Lite (correção de bugs reais) via mini-SWE-agent, Terminal-Bench 2.0 com Claude Code para tarefas complexas de terminal e SWE-verified para o Qwen sob alta concorrência. Cada nó mantém uma réplica do modelo.

A comparação foi feita com quatro abordagens: o escalonador do vLLM com distribuição round-robin, o mesmo com reconhecimento de cache, o Dynamo da NVIDIA (que considera o KV) e o ThunderAgent (por número de tokens e empacotamento «em ordem decrescente»).

No SWE-bench Lite, em relação ao melhor concorrente em cada coluna:

• latência da tarefa menor em 2,4–26,8%;
• TTFT menor em 7,4–36,3%;
• velocidade de geração maior em 5,1–29,5%.

No Terminal-Bench, o TAO lidera em latência e TTFT nos três níveis de concorrência. No Qwen3-32B, ele tem o menor TTFT nos três números de sessões paralelas. Os máximos foram tirados de 12 configurações «modelo — carga — concorrência», então em cada combinação específica o ganho é mais modesto.

O que os engenheiros podem fazer com isso

A principal conclusão para quem mantém a própria infraestrutura de inferência para agentes: vale tratar o tempo de execução das ferramentas como dado do escalonador. Se você já mede a duração das chamadas, parte dessa informação pode virar prioridade na GPU e ponto de alocação.

Os autores afirmam que a abordagem se aplica a esquemas multiagente, a agentes cíclicos e também a cargas comuns de chat. Essa é uma afirmação deles, e o material não deixa claro se ela foi confirmada por medições separadas. Todos os números foram obtidos em H100 e em combinações específicas de modelos, então em outro hardware e com outro perfil de ferramentas o resultado pode ser diferente.