Modal развивает gVisor: изоляция ИИ-задач с запуском песочницы за 25 мс

Если ваш ИИ-агент умеет запускать Python, устанавливать пакеты и выполнять команды, вы уже строите сервис исполнения чужого кода. Обычный контейнер помогает разделить окружения, но оставляет приложениям общее ядро Linux. Ошибка в нём может превратить неудачный запуск скрипта в проблему для всей машины. Modal предлагает посмотреть на gVisor: по данным компании, песочница стартует примерно за 25 мс при дополнительных расходах памяти около 12 МБ.

Повод — смена управления проектом. Согласно публикации Modal, Google передаёт gVisor вместе с названием и товарными знаками в CNCF, а техническое руководство переходит к мейнтейнерам. Modal, Ant Group и Tines обязались присоединиться к их числу. Для разработчиков инфраструктуры здесь важнее всего дальнейшая поддержка GPU, сетевого обмена и совместимости с привычными инструментами.

Что происходит между скриптом и сервером

Представьте сервис, где агент скачивает репозиторий пользователя и запускает тесты. Внутри могут оказаться неизвестные зависимости, установочные скрипты и произвольные команды. В обычном контейнере их системные вызовы обслуживает ядро хоста — то самое, которым пользуются соседние задачи.

gVisor вставляет между приложением и хостом собственное программное ядро Sentry, написанное на Go. Оно самостоятельно реализует интерфейс системных вызовов Linux, а к настоящему ядру обращается через ограниченный набор операций. Программа получает привычное окружение, но её доступ к серверу проходит через дополнительную проверку.

Сам Sentry тоже ограничен средствами Linux: пространствами имён, лимитами ресурсов и фильтрами seccomp. Это несколько слоёв защиты, а не обещание абсолютной безопасности. При этом аппаратная виртуализация не требуется: подход подходит и для облачных виртуальных машин, где вложенная виртуализация недоступна.

Modal утверждает, что запускает свыше 40 млн контейнеров gVisor в сутки. Среди нагрузок — инференс, обучение на нескольких машинах и песочницы агентов. Это опыт одного поставщика, но он показывает, что технология используется далеко за пределами демонстрационных стендов.

GPU внутри песочницы: где появляются сложности

Изолировать скрипт мало: ему часто нужны CUDA, несколько видеокарт и быстрый обмен данными. Для NVIDIA в gVisor есть nvproxy. Он разбирает и проверяет обращения к интерфейсу драйвера, сохраняя нативное выполнение вычислений и работу с памятью GPU.

Modal описывает отправленные в основной проект изменения для новых драйверов, NVLink, CUDA MPS, профилировщиков Nsight и мониторинга. Практический смысл простой: перенос задачи в песочницу меньше мешает привычной работе инженера. Однако поддержку конкретного GPU, драйвера и инструмента всё равно нужно проверять на своём окружении.

Для обучения на нескольких серверах компания добавила rdmaproxy. Он проверяет управляющие операции RDMA, оставляя передаче данных прямой путь через оборудование. В тестах NCCL all-reduce Modal получила около 99% нативной пропускной способности. Это результат конкретного бенчмарка: он не означает, что любое обучение теряет всего 1% скорости.

Другой показательный результат касается передачи пакетов данных через общую память: после изменения распределителя памяти скорость одного теста выросла с 2,9 до 22 ГБ/с. Такой прирост показывает, насколько производительность зависит от характера нагрузки и реализации отдельных операций.

Что стоит проверить у себя

Для команды, которая запускает код пользователей или агентов, gVisor заслуживает отдельного испытания. Возьмите реальную задачу: установку зависимостей, обход большого репозитория, запуск тестов, чтение датасета. Измерьте время старта, расход памяти, файловые операции и совместимость нужных библиотек. Быстрый запуск песочницы сам по себе ещё не гарантирует быстрый ответ продукта.

Для инференса интересны снимки состояния: можно сохранить уже подготовленный процесс и восстановить его на другой машине. Modal сообщает примерно о 670 тысячах восстановлений контейнеров из снимков ежедневно. Но снимки программ с несколькими GPU ещё разрабатываются; GPUDirect Storage и запуск крупных серверов инференса менее чем за минуту тоже описаны как планы.

Главный вывод для основателя или продакта: исполнение сгенерированного кода требует отдельного решения об изоляции. Переход gVisor к управлению мейнтейнерами расширяет круг компаний, отвечающих за проект. Решение о внедрении стоит принимать по результатам собственного теста безопасности, совместимости и стоимости выполнения.