Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарModal Blog→ оригинал

Modal: песочница ИИ-агента больше половины времени использует менее 6% пикового CPU

Кодинг-агент большую часть времени ждёт ответа модели, и процессор в песочнице простаивает. По данным Modal, типичный Sandbox больше половины жизни использует менее 6% своего пикового CPU; всплески бывают при установке зависимостей, тестах и сборке. Платить за резерв под пик — как арендовать грузовик на день ради пары рейсов. Поэтому Modal даёт минимальный запрос и временный «разгон», а вам стоит считать ресурсы по реальному профилю агента.

AI-обработка оригинала Modal Blog; редакция Hamidun News
Modal: песочница ИИ-агента больше половины времени использует менее 6% пикового CPU
Источник: Modal Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникModal Blog ↗
Главный редактор
Запрос по умолчанию0,125 ядра и 128 МиБ памяти
Примерагент чинил уязвимость 2 мин 46 с, память около 47 МиБ
Ключевой факт #3Из этого времени 33 с агент ждал модель, ещё две паузы по 60 с

Если вы запускаете ИИ-агентов в изолированных песочницах, то знаете неприятную арифметику: ресурсы обычно заказывают под худший случай, а большую часть времени они простаивают. Блог Modal разбирает эту проблему цифрами. Компания утверждает, что типичный Sandbox больше половины своей жизни использует менее 6% от собственного пикового CPU. Иными словами, вы платите за мощность, которая нужна считаные секунды. Отсюда идея из заголовка оригинала: «burst, don't reserve», то есть позволяйте песочнице кратко разгоняться, а не резервируйте мощность заранее.

Почему резерв под пик не подходит агентам

Возьмите кодинг-агента. Он работает циклом: модель думает, что делать дальше, затем агент выполняет команду, получает результат и снова ждёт модель. Пока идёт размышление, песочница почти ничего не делает. Нагрузка вспыхивает, когда агент ставит зависимости, запускает тесты или собирает проект.

Та же картина у других частых сценариев: RL-роллаутов (прогонов агента для обучения с подкреплением), оценок моделей (evals) и конструкторов приложений. Везде есть длинные паузы и короткие пики.

Представьте, что вы арендуете грузовик на весь день, потому что дважды нужно перевезти мебель. Фиксированное резервирование CPU под пик устроено так же: вы угадываете максимум, берёте с запасом и держите его всё время, хотя пик короткий.

Что показывает реальная сессия

Modal приводит запись настоящего прогона на задаче из Terminal-Bench 2.1 «найти и исправить уязвимость в репозитории». Агент справился за 2 минуты 46 секунд и сделал 10 обращений к модели. Процессор большую часть времени оставался около нуля, кроме коротких всплесков при запуске pytest. Память держалась около 47 МиБ.

Оба показателя уложились в минимальный запрос песочницы: 0,125 ядра и 128 МиБ. Лимиты в этом примере не задавались вовсе, а запрос был минимальным, и этого хватило.

Структура времени тоже показательна. Около 33 секунд агент ждал ответа модели, а ещё две паузы по 60 секунд он попросил сам. Всё это время песочница простаивала. По ходу дела агент осмотрел репозиторий и историю git, запустил тесты, нашёл упавший тест, прочитал класс HeaderDict в библиотеке bottle и поправил проверки заголовков. В конце все 367 тестов прошли. Сами тесты заняли секунду-две.

Что делать на практике

Главный вывод для тех, кто строит агентные платформы: не закладывайте в смету пиковую мощность на всё время сессии. Сначала замерьте профиль своих агентов:

  • сколько времени они ждут модель;
  • как часто запускают сборки и тесты;
  • насколько высоки пики по CPU и памяти.

Чем больше доля ожидания, тем выше потенциальный выигрыш от схемы «минимальный запрос плюс разгон по необходимости». Если же гарантированные ресурсы критичны, запрос можно поднять, но это уже осознанный выбор, а не значение по умолчанию. Как именно Modal считает деньги за превышение запроса, смотрите в документации и тарифах: подробной формулы в разобранном материале нет.

Ограничения

Это публикация самого провайдера, и пример выбран показательный: короткая задача с длинными паузами. У агентов, которые постоянно компилируют крупные проекты или гоняют тяжёлые тесты, доля простоя будет меньше, а экономия скромнее. Цифра «менее 6% пикового CPU больше половины времени» относится к типичному Sandbox на платформе Modal, то есть к усреднённой картине. Ваша нагрузка может отличаться, а независимых замеров и сравнений с ценами конкурентов в материале нет.

Тем не менее направление понятно. Агентные нагрузки по природе неравномерны: долгие паузы на размышление и короткие всплески работы. Тарифная модель, которая это учитывает, выглядит честнее, чем аренда мощности под пик на всю сессию. Для основателей и продактов это повод пересчитать unit-экономику агентов по средней нагрузке, а для инженеров — отдельный пункт чек-листа при выборе платформы для песочниц.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему резерв под пик не подходит агентам?

Возьмите кодинг-агента. Он работает циклом: модель думает, что делать дальше, затем агент выполняет команду, получает результат и снова ждёт модель. Пока идёт размышление, песочница почти ничего не делает. Нагрузка вспыхивает, когда агент ставит зависимости, запускает тесты или собирает проект. Та же картина у других частых сценариев: RL-роллаутов (прогонов агента для обучения с подкреплением), оценок моделей (evals) и конструкторов приложений. Везде есть длинные паузы и короткие пики.

Что известно по теме: что показывает реальная сессия?

Modal приводит запись настоящего прогона на задаче из Terminal-Bench 2.1 «найти и исправить уязвимость в репозитории». Агент справился за 2 минуты 46 секунд и сделал 10 обращений к модели. Процессор большую часть времени оставался около нуля, кроме коротких всплесков при запуске pytest. Память держалась около 47 МиБ. Оба показателя уложились в минимальный запрос песочницы: 0,125 ядра и 128 МиБ. Лимиты в этом примере не задавались вовсе, а запрос был минимальным, и этого хватило.

Что известно по теме: что делать на практике?

Главный вывод для тех, кто строит агентные платформы: не закладывайте в смету пиковую мощность на всё время сессии. Сначала замерьте профиль своих агентов: сколько времени они ждут модель; как часто запускают сборки и тесты; насколько высоки пики по CPU и памяти. Чем больше доля ожидания, тем выше потенциальный выигрыш от схемы «минимальный запрос плюс разгон по необходимости». Если же гарантированные ресурсы критичны, запрос можно поднять, но это уже осознанный выбор, а не значение по умолчанию.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…