Why AI infrastructure must evolve for agents — Akshat Bubna, CTO Modal

Akshat Bubna, CTO облачной платформы Modal, вернулся на подкаст Latent Space спустя два года, чтобы обсудить, почему текущая парадигма облачной инфраструктуры неприспособлена к эпохе AI-агентов.

От функций без состояния к долгоживущим агентам

Облачная инфраструктура последних 15 лет строилась вокруг парадигмы коротких функций: запрос приходит, сервер выполняет задачу за миллисекунды или секунды, возвращает результат. Эта модель отлично работала для веб-приложений, микросервисов и обработки данных.

AI-агенты работают совсем иначе. Вместо одноразового API-запроса агент запускается и может работать часы или дни, принимая решения, вызывая инструменты, анализируя результаты и адаптируясь к новой информации. Ему критически нужно сохранять состояние, помнить контекст, координировать долгосрочные планы.

• Агент не просто вызывает LLM один раз — он итерирует
• Требует долгоживущего процесса, который не убивается сервером
• Должен помнить весь контекст между шагами
• Взаимодействует с множеством инструментов, API и сервисов параллельно

Почему serverless архитектура не подходит

Когда вы запускаете функцию на AWS Lambda или Google Cloud Functions, облако может убить контейнер в любой момент после выполнения. Состояние не сохраняется. Следующий вызов функции — это чистый лист.

Для агентов это означает, что каждая итерация теряет контекст предыдущих шагов. Агент не может работать долгосрочно. Масштабирование становится проблемой: вы запускаете множество независимых функций, вместо того чтобы управлять единым координированным долгоживущим процессом. Ресурсы конкурируют. Надёжность страдает.

Текущие облачные платформы просто не были разработаны для этого.

Что требует инфраструктура агентов

Платформа, которая поддерживает агентов, должна предоставлять:

• Долгоживущие контейнеры, которые не теряют состояние
• Гарантированное сохранение памяти между итерациями
• Простое масштабирование множества одновременных агентов
• Встроенную координацию и отказоустойчивость
• Легкий доступ к GPU/CPU без необходимости управлять инфраструктурой

Modal позиционируется как такая платформа — облако, которое сначала спрашивает «какие вычисления нужны агенту?» вместо «какие функции мне масштабировать?».

Что это значит

Облачная инфраструктура входит в третий цикл своей эволюции. Первый был про просто перемещение серверов в облако. Второй — про микросервисы и масштабирование функций. Третий — это эпоха долгоживущих AI-агентов, которые требуют архитектуры нового типа. Платформы вроде Modal показывают, что инфраструктура должна эволюционировать вместе с типами приложений, которые разработчики строят.