Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AgentCore V2 от AWS запускает агентов из снимка памяти, но чату и голосу и 2 секунд мало

Раньше каждая новая сессия ИИ-агента в Amazon Bedrock AgentCore запускала контейнер заново, и время старта росло вместе с размером образа. В версии V2 окружение готовят один раз, замораживают как снимок памяти и диска, а для новой сессии восстанавливают, как игру из сохранения: импорты и клиенты уже на месте. Большинству агентов хватает переключения на V2, но чату и голосу даже 2 секунды старта — много. Поэтому всю инициализацию выносите до app.run().

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AgentCore V2 от AWS запускает агентов из снимка памяти, но чату и голосу и 2 секунд мало
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Сборка снимка занимает несколько минут при каждом create или update
Ключевой факт #2Файлы из образа читаются лениво, а файловый кэш перед заморозкой очищают
Ключевой факт #3Открытые сетевые соединения после восстановления устаревают, закройте их заранее

Представьте агента, который разбирает страховые заявки или проверяет код. Если он работает в фоне, никто не замечает, сколько секунд он «раскачивается». Но стоит поставить его за окном чата или голосовым ассистентом, и пауза перед первым ответом становится частью продукта. AWS описала, как в Amazon Bedrock AgentCore runtime устроен быстрый старт сессий в версии платформы V2 (параметр platformVersion со значением «V2») и как перестроить агента, чтобы получить максимум. Суть: вместо запуска контейнера с нуля для каждого пользователя платформа один раз готовит окружение, сохраняет его снимок и разворачивает этот снимок в новой сессии. По оценке AWS, для многих сценариев хватает новой сессии примерно за 2 секунды, но для чата и голоса и это слишком медленно.

Как V2 запускает сессию

Каждая сессия в AgentCore работает в собственной изолированной микровиртуальной машине. В V1 платформа при каждом новом запуске тянула образ контейнера из Amazon ECR, стартовала контейнер и выполняла ваш код инициализации. Основное время уходило на загрузку образа, поэтому холодный старт рос вместе с его размером.

В V2 эту работу делают один раз, при создании или обновлении рантайма. AgentCore запускает контейнер в чистой микро-ВМ и ждёт первого успешного ответа на GET /ping, причём не дольше 120 секунд. Затем очищает файловый кэш операционной системы, чтобы снимок остался небольшим, замораживает машину и сохраняет её память и диск. Когда приходит новая сессия, снимок восстанавливается в новой микро-ВМ, и процесс продолжает с того места, где его заморозили, с готовыми импортами, объектами и клиентами. Цена такой схемы: каждое создание или обновление теперь занимает несколько минут, пока строится снимок.

Из этого следуют три правила. Память возвращается целиком, включая файлы в RAM-диске вроде /dev/shm. Чтение файла во время инициализации ничего не ускоряет, потому что кэш очищен перед заморозкой. А файлы из образа подгружаются лениво: каждый блок берётся из хранилища снимка при первом обращении.

Что перенести в инициализацию

Классический совет по холодному старту: импортируйте лениво и делайте инициализацию короткой. В V2 всё наоборот. Инициализация выполняется один раз при сборке снимка, а работа, отложенная в обработчик запроса, оплачивается каждой новой сессией. Под «инициализацией» AWS понимает всё, что агент делает до того, как /ping ответит «здоров»; в Python SDK это всё до app.run().

Рекомендации AWS:

  • создавайте объекты, а не только импортируйте модули, в том числе локальные инструменты с внешними библиотеками;
  • создавайте клиентов, например boto3: разрешение эндпоинтов и учётных данных вернётся вместе со снимком, сокеты переподключатся при первом вызове. Некоторые другие сетевые клиенты сначала пробуют устаревший сокет, и это добавляет сотни миллисекунд, поэтому их соединения закрывайте до снимка;
  • держите статичные данные в памяти: промпты, конфигурацию, небольшие индексы. Мало прочитать файл, нужно сохранить результат в переменную;
  • запускайте долгоживущие помощники, например языковой сервер, и общайтесь с ними через pipe или сокет, чтобы подпроцесс не читал бинарники из образа в каждой сессии;
  • файлы, которые нельзя держать в памяти, например компилятор tsc, копируйте в /dev/shm;
  • поставляйте скомпилированный байткод: задайте UV_COMPILE_BYTECODE=1 или используйте pip install --compile.

Если агенту нужны большие файлы, CLI или браузер, а в своём процессе он их удержать не может, AgentCore теперь поддерживает хуки сборки: они загружают и «прогревают» эти ресурсы, пока строится снимок. Для больших справочных данных, которые читаются выборочно, AWS советует монтировать Amazon S3 Files или Amazon EFS через точку доступа (нужен режим VPC).

Как измерять и чего это стоит

Задержка в агентском приложении складывается из времени платформы (подготовка сессии) и времени вашего кода (вызовы модели, инструменты, субагенты, потоковый ответ). Чинятся они по-разному, поэтому сначала надо понять, что доминирует. В CloudWatch (пространство AWS/Bedrock-AgentCore) доступны Latency, то есть время до первого байта, и OverheadLatency, то есть доля платформы. Время вашего кода — это их разность. Время инициализации на V2 в запросах не видно: его нужно логировать самому один раз перед app.run().

Смотрите перцентили P90 и P99 или усечённое среднее TM90, которое отбрасывает самые медленные 10% запросов: простое среднее прячет медленные случаи. Тестируйте при реалистичной доле новых сессий, а не на нескольких запусках после деплоя.

Есть и честный компромисс: всё, что вы держите в памяти, раздувает снимок, и за эту память платят в каждой сессии. Поэтому замеряйте старт сессии целиком до и после изменений, чтобы задержка не просто переехала из обработчика в восстановление. Если же агент в основном вызывает облачную модель, обычно достаточно V2 и аккуратной инициализации; для интерактивных чатов и голоса AWS дополнительно предлагает запускать сессию в фоне, как только пользователь открыл приложение или окно чата. Описание этого приёма в исходном материале приведено лишь кратко, поэтому деталей здесь нет.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как V2 запускает сессию?

Каждая сессия в AgentCore работает в собственной изолированной микровиртуальной машине. В V1 платформа при каждом новом запуске тянула образ контейнера из Amazon ECR, стартовала контейнер и выполняла ваш код инициализации. Основное время уходило на загрузку образа, поэтому холодный старт рос вместе с его размером. В V2 эту работу делают один раз, при создании или обновлении рантайма. AgentCore запускает контейнер в чистой микро-ВМ и ждёт первого успешного ответа на GET /ping, причём не дольше 120 секунд.

Что известно по теме: что перенести в инициализацию?

Классический совет по холодному старту: импортируйте лениво и делайте инициализацию короткой. В V2 всё наоборот. Инициализация выполняется один раз при сборке снимка, а работа, отложенная в обработчик запроса, оплачивается каждой новой сессией. Под «инициализацией» AWS понимает всё, что агент делает до того, как /ping ответит «здоров»; в Python SDK это всё до app.run().

Что известно по теме: как измерять и чего это стоит?

Задержка в агентском приложении складывается из времени платформы (подготовка сессии) и времени вашего кода (вызовы модели, инструменты, субагенты, потоковый ответ). Чинятся они по-разному, поэтому сначала надо понять, что доминирует. В CloudWatch (пространство AWS/Bedrock-AgentCore) доступны Latency, то есть время до первого байта, и OverheadLatency, то есть доля платформы. Время вашего кода — это их разность. Время инициализации на V2 в запросах не видно: его нужно логировать самому один раз перед app.run().

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…