El agente de Flightscape con JSON de 23 MB gasta hasta un 71% menos de tokens y responde hasta un 80% más rápido
Cuando un agente de IA llama a una herramienta y esta devuelve un JSON de decenas de megabytes, todo el archivo entra en el contexto del modelo, y cada pregunta siguiente sale más cara y más lenta. El equipo de Flightscape sacó los datos pesados a S3 y entrega al modelo solo un resumen corto con un enlace al resultado completo. Con un JSON de 23 MB, el consumo de tokens cayó un 71% y la respuesta media se aceleró de 15,4 a 3,1 segundos. El mismo enfoque sirve para cualquier agente que trabaje con herramientas pesadas.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine que, a cada pregunta que hace a un compañero, este le responde con una tabla adjunta de 23 megabytes, y que esto se repite diez veces seguidas. Más o menos así funcionaba el agente de IA de Flightscape, proveedor de una plataforma para aerolíneas. Los datos son archivos JSON (un formato de texto estructurado) de más de 20 MB, el agente tiene más de cuarenta herramientas, y cada una devolvía su fragmento de ese conjunto directamente al contexto del modelo, es decir, a su «memoria de trabajo».
Se consumían enormes cantidades de tokens (las unidades de texto por las que se paga) y la respuesta media tardaba más de 15 segundos. Tras rediseñar el sistema, con un archivo de prueba de 23 MB el consumo de tokens cayó hasta un 71% y la latencia (el tiempo de espera de la respuesta) se redujo hasta un 80%. Los ingenieros describieron el proceso en el blog de AWS, y resulta útil para cualquiera que construya agentes sobre grandes volúmenes de datos.
Cuál era el problema
El agente comprueba, según reglas de negocio, las asignaciones de entrenamientos de las tripulaciones. Recibe tres documentos: la solicitud al optimizador de horarios, su respuesta y el informe del validador. Está construido con LangGraph (el framework abierto de LangChain) y se ejecuta en Amazon Bedrock AgentCore, mientras que la memoria de sesión se guarda en AgentCore Memory.
Funcionalmente todo andaba bien, pero los datos pesados estaban demasiado cerca de la conversación. Cada respuesta de una herramienta entraba completa en el contexto; una sola podía ocupar más de 80 000 tokens, y en una conversación de varios turnos se acumulaban. Con conjuntos grandes, el contexto se agotaba antes de que el agente pudiera terminar de elaborar la respuesta.
Tres técnicas que lo arreglaron
Primera: en la memoria de sesión solo hay enlaces. La solicitud, la respuesta, el informe de validación y los datos derivados se envían a Amazon S3 (almacenamiento de archivos en la nube). En AgentCore Memory se escriben los mensajes y las claves de los objetos. Al comienzo del turno, la función hydrate_state() restaura el estado de trabajo; al final, dehydrate_state() vuelve a volcar lo pesado al almacenamiento. La clave se calcula como un hash SHA-256 del contenido, de modo que los datos idénticos no se suben dos veces. Junto a esto funciona una pequeña caché en el proceso, para no acudir a S3 dos veces en una misma llamada.
Segunda: las listas largas se entregan por porciones. Si una herramienta devuelve una lista que supera un umbral establecido, el resultado completo se guarda en S3. El modelo recibe una respuesta compacta: el número total de registros, una pequeña muestra y un «handle» (un identificador de acceso), es decir, un enlace al resultado completo. Si necesita más, el modelo llama a get_result_page_tool con el handle, un desplazamiento y un límite, y toma el fragmento que necesita. Es como pedirle al bibliotecario el índice y un par de ejemplos, en lugar de exigirle que ponga todo el archivo sobre la mesa.
Tercera: los diccionarios grandes se sustituyen por una descripción. Aquí importa más la estructura que el contenido. En las listas se conservan el número de elementos y cinco ejemplos; en los diccionarios anidados, el número de claves, y los valores simples no cambian. La versión completa vuelve a ir al almacenamiento con su handle. Hay además una red de seguridad: si la respuesta serializada sigue superando el límite de caracteres, se sustituye por una descripción.
Los resultados en cifras
El equipo ejecutó las mismas preguntas sobre un mismo conjunto de datos en la versión antigua y en la nueva del agente, y comparó las métricas en AgentCore Observability.
- Conversación de 5 preguntas con datos de 23 MB: los tokens bajaron de unos 289 500 a 82 900 (−71%), y la latencia media de la traza, de 15,4 a 3,1 segundos (casi −80%).
- 100 preguntas de prueba: los tokens pasaron de 23,6 millones a 8,5 millones (−64%), y la latencia media, de 7 930 a 2 461 ms (−69%).
- La consulta más pesada, la lista de tripulaciones correctas en todas las categorías de comprobación: los tokens de entrada bajaron de unos 32 000 a 8 000, los de salida de 2 800 a 477, y el tiempo del turno de 165 a 9,9 segundos (−94%).
Los autores señalan también un efecto secundario: el crecimiento del contexto se volvió predecible, y en conversaciones largas el agente no se ralentiza con cada nueva pregunta.
Salvedades y qué llevarse
Las cifras proceden del benchmark propio de una sola empresa, con un solo tipo de datos. En su caso, la mejora dependerá de cómo estén estructuradas las respuestas de sus herramientas. Si cada respuesta es pequeña, este esquema solo añadirá complejidad.
También hay un coste. Aparece una dependencia de S3 y accesos adicionales al almacenamiento. Ahora es el modelo quien decide cuándo cargar la página siguiente, y una muestra de los primeros registros puede inducirlo a error. En las preguntas que requieren todos los registros, aumentará el número de llamadas a la herramienta de paginación. Además, para el turno más pesado el material ofrece dos valores: 9,9 segundos en la tabla y unos 15 segundos en la escala temporal de la traza, por lo que conviene tomar las cifras absolutas con cautela.
La conclusión práctica es sencilla. No le dé al modelo lo que no necesita leer entero: guarde los objetos grandes fuera, deje enlaces en la conversación, devuelva desde las herramientas un índice con ejemplos y ofrezca una forma de leer la parte que haga falta. Para ello bastan Python 3.12+, boto3, langchain-core y langgraph, y los autores publicaron el código en un repositorio aparte de GitHub. Si su agente trabaja con informes grandes, logs o exportaciones de un CRM, empiece por medir cuántos tokens se van en las respuestas de las herramientas en un solo turno. Lo más probable es que ahí se esconda la mayor parte de la factura.
- 18 nov 2026Claude Code guardaba contraseñas de los comandos: hallan secretos en el 1,1% de los archivos de configuración en GitHub
- 12 nov 2026Jensen Huang deja el cargo de CEO de Nvidia: la empresa pierde 1,4 billones de dólares en dos semanas
- 12 nov 2026AWS muestra cómo una precisión de búsqueda del 100% puede ocultar el fallo de un agente de IA
- 12 nov 2026AWS conecta tres agentes de IA en dos cuentas mediante el protocolo A2A
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Cuál era el problema?
El agente comprueba, según reglas de negocio, las asignaciones de entrenamientos de las tripulaciones. Recibe tres documentos: la solicitud al optimizador de horarios, su respuesta y el informe del validador. Está construido con LangGraph (el framework abierto de LangChain) y se ejecuta en Amazon Bedrock AgentCore, mientras que la memoria de sesión se guarda en AgentCore Memory. Funcionalmente todo andaba bien, pero los datos pesados estaban demasiado cerca de la conversación.
¿Qué se sabe sobre Tres técnicas que lo arreglaron?
Primera: en la memoria de sesión solo hay enlaces. La solicitud, la respuesta, el informe de validación y los datos derivados se envían a Amazon S3 (almacenamiento de archivos en la nube). En AgentCore Memory se escriben los mensajes y las claves de los objetos. Al comienzo del turno, la función hydrate_state() restaura el estado de trabajo; al final, dehydrate_state() vuelve a volcar lo pesado al almacenamiento.
¿Qué se sabe sobre Los resultados en cifras?
El equipo ejecutó las mismas preguntas sobre un mismo conjunto de datos en la versión antigua y en la nueva del agente, y comparó las métricas en AgentCore Observability. Conversación de 5 preguntas con datos de 23 MB: los tokens bajaron de unos 289 500 a 82 900 (−71%), y la latencia media de la traza, de 15,4 a 3,1 segundos (casi −80%). 100 preguntas de prueba: los tokens pasaron de 23,6 millones a 8,5 millones (−64%), y la latencia media, de 7 930 a 2 461 ms (−69%).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.