Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarAWS Machine Learning Blog→ original

AgentCore V2 da AWS inicia agentes a partir de um snapshot de memória, mas para chat e voz 2 segundos ainda são muito

Antes, cada nova sessão de um agente de IA no Amazon Bedrock AgentCore iniciava o contêiner do zero, e o tempo de partida crescia junto com o tamanho da imagem. Na versão V2, o ambiente é preparado uma única vez, congelado como snapshot de memória e disco e restaurado para cada nova sessão, como um jogo carregado de um save: imports e clientes já estão prontos. A maioria dos agentes se beneficia da migração para a V2, mas para chat e voz até 2 segundos de partida ainda são demais. Por isso, toda a inicialização deve ficar antes de app.run().

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
AgentCore V2 da AWS inicia agentes a partir de um snapshot de memória, mas para chat e voz 2 segundos ainda são muito
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1A montagem do snapshot leva alguns minutos a cada create ou update
Dado-chave #2Arquivos da imagem são lidos de forma preguiçosa, e o cache de arquivos é limpo antes do congelamento
Dado-chave #3Conexões de rede abertas ficam obsoletas após a restauração, então feche-as antecipadamente

Imagine um agente que analisa sinistros de seguro ou revisa código. Se ele roda em segundo plano, ninguém percebe quantos segundos ele leva para "aquecer". Mas, ao colocá-lo atrás de uma janela de chat ou de um assistente de voz, a pausa antes da primeira resposta passa a fazer parte do produto.

A AWS descreveu como o início rápido de sessões funciona no runtime do Amazon Bedrock AgentCore na versão V2 da plataforma (parâmetro platformVersion com o valor "V2") e como reestruturar o agente para tirar o máximo proveito disso. A ideia central: em vez de iniciar um contêiner do zero para cada usuário, a plataforma prepara o ambiente uma vez, salva um snapshot dele e implanta esse snapshot em cada nova sessão. Segundo estimativa da AWS, para muitos cenários uma nova sessão em cerca de 2 segundos é suficiente, mas para chat e voz esse tempo ainda é lento demais.

Como a V2 inicia uma sessão

Cada sessão no AgentCore roda em sua própria microVM isolada. Na V1, a plataforma puxava a imagem do contêiner do Amazon ECR a cada novo início, subia o contêiner e executava o seu código de inicialização. A maior parte do tempo ia para o download da imagem, por isso o cold start crescia com o tamanho dela.

Na V2, esse trabalho é feito uma única vez, na criação ou atualização do runtime. O AgentCore inicia o contêiner em uma microVM limpa e aguarda a primeira resposta bem-sucedida em GET /ping, por no máximo 120 segundos. Em seguida, limpa o cache de arquivos do sistema operacional para manter o snapshot pequeno, congela a máquina e salva sua memória e seu disco. Quando chega uma nova sessão, o snapshot é restaurado em uma nova microVM, e o processo continua exatamente de onde foi congelado, com imports, objetos e clientes já prontos. O custo desse modelo: cada criação ou atualização agora leva vários minutos, enquanto o snapshot é montado.

Disso decorrem três regras. A memória volta por completo, incluindo arquivos em RAM disk, como /dev/shm. Ler um arquivo durante a inicialização não acelera nada, porque o cache é limpo antes do congelamento. E os arquivos da imagem são carregados sob demanda: cada bloco é buscado no armazenamento do snapshot no primeiro acesso.

O que levar para a inicialização

O conselho clássico para cold start é importar de forma preguiçosa e manter a inicialização curta. Na V2 é o contrário. A inicialização roda uma única vez, na montagem do snapshot, enquanto o trabalho adiado para o handler de requisições é pago por cada nova sessão. Por "inicialização", a AWS entende tudo o que o agente faz antes de /ping responder "saudável"; no Python SDK, isso é tudo que vem antes de app.run().

Recomendações da AWS:

  • crie objetos, e não apenas importe módulos, incluindo ferramentas locais com bibliotecas externas;
  • crie clientes, como o boto3: a resolução de endpoints e das credenciais volta junto com o snapshot, e os sockets se reconectam na primeira chamada. Alguns outros clientes de rede tentam primeiro um socket obsoleto, o que adiciona centenas de milissegundos; feche as conexões desses clientes antes do snapshot;
  • mantenha dados estáticos na memória: prompts, configurações, pequenos índices. Não basta ler o arquivo; guarde o resultado em uma variável;
  • execute auxiliares de longa duração, como um servidor de linguagem, e se comunique com eles por pipe ou socket, para que o subprocesso não precise ler binários da imagem a cada sessão;
  • arquivos que não podem ficar na memória, como o compilador tsc, devem ser copiados para /dev/shm;
  • distribua bytecode compilado: defina UV_COMPILE_BYTECODE=1 ou use pip install --compile.

Se o agente precisa de arquivos grandes, CLIs ou um navegador, e não consegue mantê-los no próprio processo, o AgentCore agora oferece hooks de build: eles baixam e "aquecem" esses recursos enquanto o snapshot é montado. Para grandes bases de referência lidas de forma seletiva, a AWS recomenda montar o Amazon S3 Files ou o Amazon EFS por meio de um access point (é necessário o modo VPC).

Como medir e quanto custa

A latência de uma aplicação de agente é formada pelo tempo da plataforma (preparação da sessão) e pelo tempo do seu código (chamadas ao modelo, ferramentas, subagentes, resposta em streaming). Elas são corrigidas de formas diferentes, por isso é preciso primeiro entender o que domina. No CloudWatch (namespace AWS/Bedrock-AgentCore), estão disponíveis Latency, ou seja, o tempo até o primeiro byte, e OverheadLatency, a parcela da plataforma. O tempo do seu código é a diferença entre as duas. O tempo de inicialização na V2 não aparece nas requisições: ele precisa ser registrado por você mesmo, uma vez, antes de app.run().

Observe os percentis P90 e P99 ou a média truncada TM90, que descarta os 10% mais lentos das requisições: a média simples esconde os casos lentos. Teste com uma proporção realista de novas sessões, e não com algumas execuções logo após o deploy.

Há também um compromisso honesto: tudo o que você mantém na memória incha o snapshot, e esse custo de memória é pago em cada sessão. Por isso, meça o início de sessão por completo antes e depois das mudanças, para que a latência não apenas se desloque do handler para a restauração. Se o agente funciona sobretudo chamando um modelo em nuvem, geralmente bastam a V2 e uma inicialização bem feita; para chats interativos e voz, a AWS ainda sugere iniciar a sessão em segundo plano assim que o usuário abre o aplicativo ou a janela de chat. A descrição desse recurso no material original é breve, então não há detalhes aqui.

História

Perguntas frequentes sobre a notícia

Como a V2 inicia uma sessão?

Cada sessão no AgentCore roda em sua própria microVM isolada. Na V1, a plataforma puxava a imagem do contêiner do Amazon ECR a cada novo início, subia o contêiner e executava o seu código de inicialização. A maior parte do tempo ia para o download da imagem, por isso o cold start crescia com o tamanho dela. Na V2, esse trabalho é feito uma única vez, na criação ou atualização do runtime.

O que levar para a inicialização?

O conselho clássico para cold start é importar de forma preguiçosa e manter a inicialização curta. Na V2 é o contrário. A inicialização roda uma única vez, na montagem do snapshot, enquanto o trabalho adiado para o handler de requisições é pago por cada nova sessão. Por "inicialização", a AWS entende tudo o que o agente faz antes de /ping responder "saudável"; no Python SDK, isso é tudo que vem antes de app.run().

Como medir e quanto custa?

A latência de uma aplicação de agente é formada pelo tempo da plataforma (preparação da sessão) e pelo tempo do seu código (chamadas ao modelo, ferramentas, subagentes, resposta em streaming). Elas são corrigidas de formas diferentes, por isso é preciso primeiro entender o que domina. No CloudWatch (namespace AWS/Bedrock-AgentCore), estão disponíveis Latency, ou seja, o tempo até o primeiro byte, e OverheadLatency, a parcela da plataforma. O tempo do seu código é a diferença entre as duas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…