NVIDIA Vera duplica la velocidad de Modal Sandboxes: hasta 4.281 tareas por minuto con 150 contenedores

Normalmente los procesadores se comparan por la velocidad de un solo hilo. Pero si ejecutas cientos de sandboxes con agentes de IA en una misma máquina, esa no es la métrica adecuada. El equipo de Modal recibió su primer servidor con el procesador Arm NVIDIA Vera y mostró por qué importa más el comportamiento bajo carga.

Por qué los sandboxes son un caso especial

El sandbox de un agente pasa la mayor parte del tiempo inactivo, esperando la respuesta del LLM. Luego, de repente, ocurre un npm install o un grep pesado, y la carga de CPU se multiplica por 10. No se sabe de antemano qué enviará el LLM para ejecutar, así que hay que adivinar el tamaño de los recursos.

Modal permite el burst: reservas capacidad para la carga típica (P50) y no para el peor momento, y los picos los absorbe el margen del host. Esto ahorra dinero a los clientes, pero agrava el problema de los vecinos ruidosos: un inquilino frena a otro.

Aquí la latencia sale cara. Agentes en segundo plano como Ramp Inspect funcionan más rápido: los usuarios están más contentos y se gasta menos tiempo de CPU. En el entrenamiento con RL sigue siendo más habitual el esquema síncrono: la GPU espera a que termine todo el abanico de rollouts en los sandboxes. Un segundo de CPU equivale en la práctica a un segundo de GPU parada.

Cómo se midió

No existe un benchmark listo para la carga «agéntica», así que Modal creó el suyo: Agentless Agent Bench. Son 50 soluciones de referencia de Terminal-Bench con sus verificaciones, de las que se eliminaron todas las llamadas de red. Quedaron solo operaciones puramente de procesador: compilación, búsqueda en archivos, git, emulación de dispositivos. Todo ello se ejecuta en contenedores Docker paralelos.

La primera prueba, tareas individuales en una máquina libre, decepcionó a los propios autores. Vera fue a menudo mejor, pero no siempre y sin gran ventaja.

La segunda prueba, el rendimiento con 50, 100 y 150 contenedores, dio un panorama distinto. Con un núcleo lógico, Vera completa 86 tareas por minuto frente a 51 de Intel GNR y 59 de AMD Zen 5. Con 79 núcleos alcanza 4.238 tareas, y el pico ronda las 4.281 con 99 núcleos. Intel GNR llega a una meseta de unas 2.500, AMD Zen 5 de unas 1.500. Graviton 5 llega a unas 3.470 con 96 núcleos.

Un falso compromiso

Normalmente, cuanto más densamente empaquetas las tareas, mayor es el throughput, pero peor la latencia de cada una. El planificador de Modal siente constantemente la tentación de reempaquetar los hosts. Según los autores, en Vera este efecto es más débil: bajo alta carga el chip se mantiene mejor que sus competidores.

Limitaciones y conclusión

Es un benchmark del propio proveedor-consumidor, no una prueba independiente, y es sintético: se han eliminado las llamadas de red. Las gráficas, a juzgar por los datos, no son suaves en todas partes: por ejemplo, Intel GNR en una VM muestra una caída en 124 núcleos. Además, Vera aún no está en producción en Modal. Para soportar Arm habrá que cambiar la infraestructura y el sistema de construcción de imágenes, ya que la compañía siempre ha trabajado solo con x86.

Qué hacer en la práctica. Si construyes una plataforma para agentes o rollouts de RL, no elijas el hardware por pruebas de un solo hilo. Ejecuta tu propia mezcla de tareas reales con empaquetado denso y calcula el coste de una tarea completada, no el precio por núcleo. De paso, comprueba que tus imágenes y dependencias se compilan para arm64: esa migración será la principal partida de gasto.