Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarAWS Machine Learning Blog→ original

AgentCore V2 de AWS lanza agentes desde una instantánea de memoria, pero para el chat y la voz ni 2 segundos bastan

Hasta ahora, cada nueva sesión de un agente de IA en Amazon Bedrock AgentCore arrancaba el contenedor desde cero, y el tiempo de arranque crecía con el tamaño de la imagen. En la versión V2, el entorno se prepara una sola vez, se congela como instantánea de memoria y disco y, para cada nueva sesión, se restaura como si fuera una partida guardada: las importaciones y los clientes ya están listos. A la mayoría de los agentes les basta con cambiar a V2, pero para el chat y la voz incluso 2 segundos de arranque son demasiado. Por eso, traslade toda la inicialización antes de app.run().

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
AgentCore V2 de AWS lanza agentes desde una instantánea de memoria, pero para el chat y la voz ni 2 segundos bastan
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Dato clave #1La construcción de la instantánea tarda varios minutos en cada create o update
Dato clave #2Los archivos de la imagen se leen de forma diferida, y la caché de archivos se limpia antes de congelar
Dato clave #3Las conexiones de red abiertas caducan tras la restauración, así que ciérrelas de antemano

Imagine un agente que procesa reclamaciones de seguros o revisa código. Si trabaja en segundo plano, nadie nota cuántos segundos tarda en ponerse en marcha. Pero si lo sitúa tras la ventana de un chat o como asistente de voz, la pausa antes de la primera respuesta forma parte del producto.

AWS ha explicado cómo funciona el arranque rápido de sesiones en el runtime de Amazon Bedrock AgentCore en la versión V2 de la plataforma (parámetro platformVersion con el valor «V2») y cómo reestructurar el agente para obtener el máximo rendimiento. La idea central: en lugar de arrancar un contenedor desde cero para cada usuario, la plataforma prepara el entorno una sola vez, guarda su instantánea y despliega esa instantánea en cada nueva sesión. Según la estimación de AWS, en muchos escenarios basta una nueva sesión en unos 2 segundos, pero para el chat y la voz ese tiempo sigue siendo demasiado.

Cómo arranca una sesión en V2

Cada sesión de AgentCore se ejecuta en su propia microvirtual machine aislada. En V1, la plataforma descargaba la imagen del contenedor desde Amazon ECR en cada nuevo arranque, iniciaba el contenedor y ejecutaba su código de inicialización. La mayor parte del tiempo se iba en la descarga de la imagen, por lo que el arranque en frío crecía con su tamaño.

En V2, este trabajo se hace una sola vez, al crear o actualizar el runtime. AgentCore inicia el contenedor en una micro-VM limpia y espera la primera respuesta correcta a GET /ping, con un límite de 120 segundos. Después, limpia la caché de archivos del sistema operativo para que la instantánea sea pequeña, congela la máquina y guarda su memoria y su disco. Cuando llega una nueva sesión, la instantánea se restaura en una nueva micro-VM y el proceso continúa desde el punto en que se congeló, con importaciones, objetos y clientes ya preparados. El coste de este esquema es que cada creación o actualización tarda varios minutos mientras se construye la instantánea.

De ahí se derivan tres reglas. La memoria se restaura por completo, incluidos los archivos en discos RAM como /dev/shm. Leer un archivo durante la inicialización no acelera nada, porque la caché se limpia antes de congelar. Y los archivos de la imagen se cargan de forma diferida: cada bloque se obtiene del almacenamiento de la instantánea en su primer acceso.

Qué mover a la inicialización

El consejo clásico para el arranque en frío es importar de forma diferida y mantener la inicialización corta. En V2, es justo lo contrario. La inicialización se ejecuta una sola vez al construir la instantánea, mientras que el trabajo aplazado al manejador de cada petición se paga en cada nueva sesión. AWS entiende por «inicialización» todo lo que el agente hace antes de que /ping responda «healthy»; en el SDK de Python, todo lo que va antes de app.run().

Recomendaciones de AWS:

  • cree objetos, no solo importe módulos, incluidas las herramientas locales con bibliotecas externas;
  • cree los clientes, por ejemplo boto3: la resolución de endpoints y de credenciales vuelve junto con la instantánea, y los sockets se reconectan en la primera llamada. Algunos otros clientes de red intentan primero un socket obsoleto, lo que añade cientos de milisegundos, así que cierre sus conexiones antes de la instantánea;
  • mantenga en memoria los datos estáticos: prompts, configuración, índices pequeños. No basta con leer un archivo; hay que guardar el resultado en una variable;
  • ejecute los asistentes de larga duración, como un servidor de lenguaje, y comuníquese con ellos mediante pipe o socket, para que el subproceso no lea binarios de la imagen en cada sesión;
  • copie a /dev/shm los archivos que no pueda mantener en memoria, como el compilador tsc;
  • distribuya bytecode compilado: configure UV_COMPILE_BYTECODE=1 o use pip install --compile.

Si el agente necesita archivos grandes, una CLI o un navegador, y no puede retenerlos en su propio proceso, AgentCore admite ahora hooks de construcción: cargan y «precalientan» esos recursos mientras se construye la instantánea. Para datos de referencia voluminosos que se leen de forma selectiva, AWS recomienda montar Amazon S3 Files o Amazon EFS mediante un punto de acceso (se requiere el modo VPC).

Cómo medir y cuánto cuesta

La latencia de una aplicación de agentes se compone del tiempo de la plataforma (preparación de la sesión) y del tiempo de su código (llamadas al modelo, herramientas, subagentes, respuesta en streaming). Se corrigen de maneras distintas, así que primero hay que entender qué domina. En CloudWatch (espacio de nombres AWS/Bedrock-AgentCore) están disponibles Latency, es decir, el tiempo hasta el primer byte, y OverheadLatency, la parte atribuible a la plataforma. El tiempo de su código es la diferencia entre ambas. El tiempo de inicialización en V2 no aparece en las peticiones: debe registrarlo usted mismo una vez antes de app.run().

Fíjese en los percentiles P90 y P99, o en la media recortada TM90, que descarta el 10 % de las peticiones más lentas: la media simple oculta los casos lentos. Pruebe con una proporción realista de sesiones nuevas, no con unas pocas ejecuciones tras el despliegue.

Hay también un compromiso honesto: todo lo que mantenga en memoria engorda la instantánea, y ese coste de memoria se paga en cada sesión. Por eso, mida el arranque completo de la sesión antes y después de los cambios, para asegurarse de que la latencia no se traslade simplemente del manejador a la restauración. Si el agente llama sobre todo a un modelo en la nube, suele bastar con V2 y una inicialización cuidadosa; para chats interactivos y voz, AWS propone además iniciar la sesión en segundo plano en cuanto el usuario abre la aplicación o la ventana del chat. La descripción de esta técnica en el material original es solo breve, así que aquí no hay más detalles.

Historia

Preguntas frecuentes sobre la noticia

Cómo arranca una sesión en V2?

Cada sesión de AgentCore se ejecuta en su propia microvirtual machine aislada. En V1, la plataforma descargaba la imagen del contenedor desde Amazon ECR en cada nuevo arranque, iniciaba el contenedor y ejecutaba su código de inicialización. La mayor parte del tiempo se iba en la descarga de la imagen, por lo que el arranque en frío crecía con su tamaño. En V2, este trabajo se hace una sola vez, al crear o actualizar el runtime.

¿Qué se sabe sobre Qué mover a la inicialización?

El consejo clásico para el arranque en frío es importar de forma diferida y mantener la inicialización corta. En V2, es justo lo contrario. La inicialización se ejecuta una sola vez al construir la instantánea, mientras que el trabajo aplazado al manejador de cada petición se paga en cada nueva sesión. AWS entiende por «inicialización» todo lo que el agente hace antes de que /ping responda «healthy»; en el SDK de Python, todo lo que va antes de app.run().

Cómo medir y cuánto cuesta?

La latencia de una aplicación de agentes se compone del tiempo de la plataforma (preparación de la sesión) y del tiempo de su código (llamadas al modelo, herramientas, subagentes, respuesta en streaming). Se corrigen de maneras distintas, así que primero hay que entender qué domina. En CloudWatch (espacio de nombres AWS/Bedrock-AgentCore) están disponibles Latency, es decir, el tiempo hasta el primer byte, y OverheadLatency, la parte atribuible a la plataforma. El tiempo de su código es la diferencia entre ambas.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
¿Qué te parece?
Cargando comentarios…