En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
IndustriaAnálisis · En radarAWS Machine Learning Blog→ original

El agente de Flightscape con JSON de 23 MB gasta hasta un 71% menos de tokens y responde hasta un 80% más rápido

Cuando un agente de IA llama a una herramienta y esta devuelve un JSON de decenas de megabytes, todo el archivo entra en el contexto del modelo, y cada pregunta siguiente sale más cara y más lenta. El equipo de Flightscape sacó los datos pesados a S3 y entrega al modelo solo un resumen corto con un enlace al resultado completo. Con un JSON de 23 MB, el consumo de tokens cayó un 71% y la respuesta media se aceleró de 15,4 a 3,1 segundos. El mismo enfoque sirve para cualquier agente que trabaje con herramientas pesadas.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
El agente de Flightscape con JSON de 23 MB gasta hasta un 71% menos de tokens y responde hasta un 80% más rápido
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
La consulta más pesadade 165 a 9,9 segundos, con tokens de entrada de 32 000 a 8 000
En 100 preguntas de prueba8,5 millones de tokens en lugar de 23,6 millones (−64%)
Dato clave #3El propio modelo recorre el resultado página a página mediante get_result_page_tool, a partir de un enlace

Imagine que, a cada pregunta que hace a un compañero, este le responde con una tabla adjunta de 23 megabytes, y que esto se repite diez veces seguidas. Más o menos así funcionaba el agente de IA de Flightscape, proveedor de una plataforma para aerolíneas. Los datos son archivos JSON (un formato de texto estructurado) de más de 20 MB, el agente tiene más de cuarenta herramientas, y cada una devolvía su fragmento de ese conjunto directamente al contexto del modelo, es decir, a su «memoria de trabajo».

Se consumían enormes cantidades de tokens (las unidades de texto por las que se paga) y la respuesta media tardaba más de 15 segundos. Tras rediseñar el sistema, con un archivo de prueba de 23 MB el consumo de tokens cayó hasta un 71% y la latencia (el tiempo de espera de la respuesta) se redujo hasta un 80%. Los ingenieros describieron el proceso en el blog de AWS, y resulta útil para cualquiera que construya agentes sobre grandes volúmenes de datos.

Cuál era el problema

El agente comprueba, según reglas de negocio, las asignaciones de entrenamientos de las tripulaciones. Recibe tres documentos: la solicitud al optimizador de horarios, su respuesta y el informe del validador. Está construido con LangGraph (el framework abierto de LangChain) y se ejecuta en Amazon Bedrock AgentCore, mientras que la memoria de sesión se guarda en AgentCore Memory.

Funcionalmente todo andaba bien, pero los datos pesados estaban demasiado cerca de la conversación. Cada respuesta de una herramienta entraba completa en el contexto; una sola podía ocupar más de 80 000 tokens, y en una conversación de varios turnos se acumulaban. Con conjuntos grandes, el contexto se agotaba antes de que el agente pudiera terminar de elaborar la respuesta.

Tres técnicas que lo arreglaron

Primera: en la memoria de sesión solo hay enlaces. La solicitud, la respuesta, el informe de validación y los datos derivados se envían a Amazon S3 (almacenamiento de archivos en la nube). En AgentCore Memory se escriben los mensajes y las claves de los objetos. Al comienzo del turno, la función hydrate_state() restaura el estado de trabajo; al final, dehydrate_state() vuelve a volcar lo pesado al almacenamiento. La clave se calcula como un hash SHA-256 del contenido, de modo que los datos idénticos no se suben dos veces. Junto a esto funciona una pequeña caché en el proceso, para no acudir a S3 dos veces en una misma llamada.

Segunda: las listas largas se entregan por porciones. Si una herramienta devuelve una lista que supera un umbral establecido, el resultado completo se guarda en S3. El modelo recibe una respuesta compacta: el número total de registros, una pequeña muestra y un «handle» (un identificador de acceso), es decir, un enlace al resultado completo. Si necesita más, el modelo llama a get_result_page_tool con el handle, un desplazamiento y un límite, y toma el fragmento que necesita. Es como pedirle al bibliotecario el índice y un par de ejemplos, en lugar de exigirle que ponga todo el archivo sobre la mesa.

Tercera: los diccionarios grandes se sustituyen por una descripción. Aquí importa más la estructura que el contenido. En las listas se conservan el número de elementos y cinco ejemplos; en los diccionarios anidados, el número de claves, y los valores simples no cambian. La versión completa vuelve a ir al almacenamiento con su handle. Hay además una red de seguridad: si la respuesta serializada sigue superando el límite de caracteres, se sustituye por una descripción.

Los resultados en cifras

El equipo ejecutó las mismas preguntas sobre un mismo conjunto de datos en la versión antigua y en la nueva del agente, y comparó las métricas en AgentCore Observability.

  • Conversación de 5 preguntas con datos de 23 MB: los tokens bajaron de unos 289 500 a 82 900 (−71%), y la latencia media de la traza, de 15,4 a 3,1 segundos (casi −80%).
  • 100 preguntas de prueba: los tokens pasaron de 23,6 millones a 8,5 millones (−64%), y la latencia media, de 7 930 a 2 461 ms (−69%).
  • La consulta más pesada, la lista de tripulaciones correctas en todas las categorías de comprobación: los tokens de entrada bajaron de unos 32 000 a 8 000, los de salida de 2 800 a 477, y el tiempo del turno de 165 a 9,9 segundos (−94%).

Los autores señalan también un efecto secundario: el crecimiento del contexto se volvió predecible, y en conversaciones largas el agente no se ralentiza con cada nueva pregunta.

Salvedades y qué llevarse

Las cifras proceden del benchmark propio de una sola empresa, con un solo tipo de datos. En su caso, la mejora dependerá de cómo estén estructuradas las respuestas de sus herramientas. Si cada respuesta es pequeña, este esquema solo añadirá complejidad.

También hay un coste. Aparece una dependencia de S3 y accesos adicionales al almacenamiento. Ahora es el modelo quien decide cuándo cargar la página siguiente, y una muestra de los primeros registros puede inducirlo a error. En las preguntas que requieren todos los registros, aumentará el número de llamadas a la herramienta de paginación. Además, para el turno más pesado el material ofrece dos valores: 9,9 segundos en la tabla y unos 15 segundos en la escala temporal de la traza, por lo que conviene tomar las cifras absolutas con cautela.

La conclusión práctica es sencilla. No le dé al modelo lo que no necesita leer entero: guarde los objetos grandes fuera, deje enlaces en la conversación, devuelva desde las herramientas un índice con ejemplos y ofrezca una forma de leer la parte que haga falta. Para ello bastan Python 3.12+, boto3, langchain-core y langgraph, y los autores publicaron el código en un repositorio aparte de GitHub. Si su agente trabaja con informes grandes, logs o exportaciones de un CRM, empiece por medir cuántos tokens se van en las respuestas de las herramientas en un solo turno. Lo más probable es que ahí se esconda la mayor parte de la factura.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Cuál era el problema?

El agente comprueba, según reglas de negocio, las asignaciones de entrenamientos de las tripulaciones. Recibe tres documentos: la solicitud al optimizador de horarios, su respuesta y el informe del validador. Está construido con LangGraph (el framework abierto de LangChain) y se ejecuta en Amazon Bedrock AgentCore, mientras que la memoria de sesión se guarda en AgentCore Memory. Funcionalmente todo andaba bien, pero los datos pesados estaban demasiado cerca de la conversación.

¿Qué se sabe sobre Tres técnicas que lo arreglaron?

Primera: en la memoria de sesión solo hay enlaces. La solicitud, la respuesta, el informe de validación y los datos derivados se envían a Amazon S3 (almacenamiento de archivos en la nube). En AgentCore Memory se escriben los mensajes y las claves de los objetos. Al comienzo del turno, la función hydrate_state() restaura el estado de trabajo; al final, dehydrate_state() vuelve a volcar lo pesado al almacenamiento.

¿Qué se sabe sobre Los resultados en cifras?

El equipo ejecutó las mismas preguntas sobre un mismo conjunto de datos en la versión antigua y en la nueva del agente, y comparó las métricas en AgentCore Observability. Conversación de 5 preguntas con datos de 23 MB: los tokens bajaron de unos 289 500 a 82 900 (−71%), y la latencia media de la traza, de 15,4 a 3,1 segundos (casi −80%). 100 preguntas de prueba: los tokens pasaron de 23,6 millones a 8,5 millones (−64%), y la latencia media, de 7 930 a 2 461 ms (−69%).

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…