NVIDIA Vera вдвое ускорила Modal Sandboxes: на 150 контейнерах — до 4 281 задачи в минуту

Обычно про процессоры спорят в терминах скорости одного потока. Но если вы запускаете сотни песочниц с ИИ-агентами на одной машине, это не та метрика. Команда Modal получила первый сервер с Arm-процессором NVIDIA Vera и показала, почему важнее поведение под нагрузкой.

Почему песочницы — особый случай

Песочница для агента большую часть времени простаивает: ждёт ответа LLM. Потом внезапно случается npm install или тяжёлый grep, и нагрузка на CPU подскакивает в 10 раз. Заранее неизвестно, что именно LLM пришлёт на выполнение, поэтому размер ресурсов приходится угадывать.

Modal разрешает burst: вы резервируете мощность под типичную нагрузку (P50), а не под худший момент, и пики поглощает запас на хосте. Это экономит клиентам деньги, но усиливает проблему шумных соседей: один арендатор тормозит другого.

Задержки здесь стоят дорого. Фоновые агенты вроде Ramp Inspect работают быстрее — пользователи довольнее, а CPU-времени тратится меньше. В RL-обучении всё ещё чаще синхронная схема: GPU ждёт, пока завершится весь веер rollout-ов в песочницах. Секунда CPU фактически равна секунде простоя GPU.

Как мерили

Готового бенчмарка для «агентской» нагрузки нет, поэтому Modal собрала свой: Agentless Agent Bench. Это 50 эталонных решений Terminal-Bench с проверками, из которых убрали все сетевые вызовы. Остались чисто процессорные операции: компиляция, поиск по файлам, git, эмуляция устройств. Всё это запускается в параллельных Docker-контейнерах.

Первый тест, одиночные задачи на свободной машине, разочаровал самих авторов. Vera часто была лучше, но не всегда и без большого отрыва.

Второй тест, пропускная способность при 50, 100 и 150 контейнерах, дал другую картину. На одном логическом ядре Vera делает 86 задач за минуту против 51 у Intel GNR и 59 у AMD Zen 5. На 79 ядрах — 4 238 задач, а пик около 4 281 на 99 ядрах. Intel GNR выходит на плато около 2 500, AMD Zen 5 — около 1 500. Graviton 5 доходит примерно до 3 470 на 96 ядрах.

Ложный компромисс

Обычно чем плотнее упаковываешь задачи, тем выше throughput, но тем хуже задержка каждой. Планировщик Modal постоянно искушает перепаковать хосты. По словам авторов, на Vera этот эффект выражен слабее: под высокой нагрузкой чип держится лучше конкурентов.

Ограничения и вывод

Это бенчмарк самого вендора-потребителя, а не независимый тест, и синтетический: сетевые вызовы вырезаны. Графики, судя по данным, не везде гладкие: например, у Intel GNR в VM есть провал на 124 ядрах. Кроме того, Vera на Modal пока не в продакшене. Для поддержки Arm придётся менять инфраструктуру и систему сборки образов, ведь компания всегда работала только на x86.

Что делать практику. Если вы строите платформу для агентов или RL-rollout-ов, не выбирайте железо по однопоточным тестам. Прогоните свою смесь реальных задач при плотной упаковке и считайте стоимость завершённой задачи, а не цену за ядро. Заодно проверьте, что ваши образы и зависимости собираются под arm64: именно эта миграция станет главной статьёй расходов.