NVIDIA Vera double la vitesse des Modal Sandboxes : jusqu'à 4 281 tâches par minute sur 150 conteneurs

On compare généralement les processeurs en termes de vitesse d'un seul thread. Mais si vous lancez des centaines de sandboxes d'agents d'IA sur une même machine, ce n'est pas la bonne métrique. L'équipe de Modal a reçu le premier serveur équipé du processeur Arm NVIDIA Vera et montre pourquoi le comportement sous charge compte davantage.

Pourquoi les sandboxes sont un cas particulier

La sandbox d'un agent passe l'essentiel de son temps à attendre : elle patiente jusqu'à la réponse du LLM. Puis, soudain, un npm install ou un grep lourd survient, et la charge CPU est multipliée par 10. On ne sait pas à l'avance ce que le LLM enverra à exécuter, il faut donc deviner la taille des ressources.

Modal autorise le burst : vous réservez de la puissance pour la charge typique (P50), et non pour le pire moment, et les pics sont absorbés par la marge disponible sur l'hôte. Cela fait économiser de l'argent aux clients, mais aggrave le problème des voisins bruyants : un locataire ralentit un autre.

Les latences coûtent cher ici. Les agents d'arrière-plan comme Ramp Inspect fonctionnent plus vite : les utilisateurs sont plus satisfaits, et moins de temps CPU est consommé. Dans l'entraînement par RL, le schéma reste encore le plus souvent synchrone : le GPU attend que tout l'éventail de rollouts dans les sandboxes soit terminé. Une seconde de CPU équivaut en pratique à une seconde d'inactivité du GPU.

Comment les mesures ont été faites

Il n'existe pas de benchmark prêt à l'emploi pour une charge « agentique », Modal a donc construit le sien : Agentless Agent Bench. Il s'agit de 50 solutions de référence de Terminal-Bench avec leurs vérifications, dont tous les appels réseau ont été retirés. Il ne reste que des opérations purement CPU : compilation, recherche dans les fichiers, git, émulation de périphériques. Le tout s'exécute dans des conteneurs Docker parallèles.

Le premier test, des tâches isolées sur une machine libre, a déçu les auteurs eux-mêmes. Vera était souvent meilleure, mais pas toujours et sans grand écart.

Le second test, le débit avec 50, 100 et 150 conteneurs, a donné un tout autre tableau. Sur un cœur logique, Vera exécute 86 tâches par minute contre 51 pour Intel GNR et 59 pour AMD Zen 5. Avec 79 cœurs, elle atteint 4 238 tâches, et son pic est d'environ 4 281 à 99 cœurs. Intel GNR atteint un plateau autour de 2 500, AMD Zen 5 autour de 1 500. Graviton 5 monte à environ 3 470 sur 96 cœurs.

Un faux compromis

Habituellement, plus on empaquette les tâches densément, plus le débit augmente, mais plus la latence de chacune se dégrade. Le planificateur de Modal est constamment tenté de retasser les hôtes. Selon les auteurs, cet effet est moins marqué sur Vera : sous forte charge, la puce tient mieux que ses concurrents.

Limites et conclusion

Il s'agit du benchmark d'un fournisseur-utilisateur, et non d'un test indépendant, et il est synthétique : les appels réseau ont été retirés. Les courbes, à en juger par les données, ne sont pas partout lisses : par exemple, Intel GNR en VM présente un creux à 124 cœurs. De plus, Vera n'est pas encore en production chez Modal. Pour prendre en charge Arm, il faudra modifier l'infrastructure et le système de construction des images, car l'entreprise a toujours fonctionné uniquement sur x86.

Que faire en pratique ? Si vous construisez une plateforme pour des agents ou des rollouts RL, ne choisissez pas le matériel d'après des tests mono-thread. Lancez votre propre mélange de tâches réelles avec un empaquetage dense et calculez le coût d'une tâche terminée, et non le prix par cœur. Vérifiez aussi que vos images et dépendances se construisent pour arm64 : c'est cette migration qui deviendra le principal poste de dépenses.