NVIDIA Vera dobra a velocidade do Modal Sandboxes: até 4.281 tarefas por minuto com 150 contêineres

Normalmente os processadores são comparados pela velocidade de uma única thread. Mas se você executa centenas de sandboxes com agentes de IA em uma mesma máquina, essa não é a métrica certa. A equipe da Modal recebeu seu primeiro servidor com o processador Arm NVIDIA Vera e mostrou por que o comportamento sob carga importa mais.

Por que sandboxes são um caso especial

O sandbox de um agente passa a maior parte do tempo ocioso, aguardando a resposta do LLM. Depois, de repente, acontece um npm install ou um grep pesado, e a carga de CPU sobe 10 vezes. Não se sabe de antemão o que o LLM enviará para execução, então o tamanho dos recursos precisa ser adivinhado.

A Modal permite burst: você reserva capacidade para a carga típica (P50), e não para o pior momento, e os picos são absorvidos pela folga do host. Isso economiza dinheiro dos clientes, mas agrava o problema dos vizinhos barulhentos: um inquilino atrasa o outro.

Aqui a latência custa caro. Agentes em segundo plano como o Ramp Inspect funcionam mais rápido: os usuários ficam mais satisfeitos e gasta-se menos tempo de CPU. No treinamento com RL, o esquema síncrono ainda é o mais comum: a GPU espera até que todo o leque de rollouts nos sandboxes termine. Um segundo de CPU equivale, na prática, a um segundo de GPU parada.

Como foi medido

Não existe um benchmark pronto para carga «agêntica», então a Modal criou o seu: Agentless Agent Bench. São 50 soluções de referência do Terminal-Bench com suas verificações, das quais foram removidas todas as chamadas de rede. Restaram apenas operações puramente de processador: compilação, busca em arquivos, git, emulação de dispositivos. Tudo isso roda em contêineres Docker paralelos.

O primeiro teste, tarefas individuais em máquina livre, decepcionou os próprios autores. A Vera muitas vezes foi melhor, mas nem sempre e sem grande vantagem.

O segundo teste, vazão com 50, 100 e 150 contêineres, mostrou um quadro diferente. Com um núcleo lógico, a Vera executa 86 tarefas por minuto contra 51 da Intel GNR e 59 da AMD Zen 5. Com 79 núcleos, chega a 4.238 tarefas, e o pico de cerca de 4.281 ocorre com 99 núcleos. A Intel GNR atinge um platô de cerca de 2.500, a AMD Zen 5 de cerca de 1.500. O Graviton 5 chega a aproximadamente 3.470 com 96 núcleos.

Um falso dilema

Normalmente, quanto mais densamente você empacota as tarefas, maior o throughput, mas pior a latência de cada uma. O escalonador da Modal é constantemente tentado a reempacotar os hosts. Segundo os autores, na Vera esse efeito é mais fraco: sob alta carga o chip se sai melhor que os concorrentes.

Limitações e conclusão

Este é um benchmark do próprio fornecedor-consumidor, e não um teste independente, e é sintético: as chamadas de rede foram removidas. Os gráficos, a julgar pelos dados, não são suaves em todos os pontos: por exemplo, a Intel GNR em VM apresenta uma queda em 124 núcleos. Além disso, a Vera ainda não está em produção na Modal. Para suportar Arm, será preciso mudar a infraestrutura e o sistema de construção de imagens, já que a empresa sempre trabalhou apenas com x86.

O que fazer na prática. Se você está construindo uma plataforma para agentes ou rollouts de RL, não escolha o hardware por testes de thread única. Execute sua própria mistura de tarefas reais com empacotamento denso e calcule o custo de uma tarefa concluída, e não o preço por núcleo. Aproveite para verificar se suas imagens e dependências compilam para arm64: essa migração será o principal item de custo.