Agente da Flightscape com JSON de 23 MB gasta até 71% menos tokens e responde até 80% mais rápido
Quando um agente de IA chama uma ferramenta e ela devolve um JSON de dezenas de megabytes, o arquivo inteiro vai para o contexto do modelo. Cada pergunta seguinte fica mais cara e mais lenta. A equipe da Flightscape levou os dados pesados para o S3 e passou ao modelo apenas um resumo curto, com um link para o resultado completo. Em um JSON de 23 MB, o consumo de tokens caiu 71%, e a resposta média passou de 15,4 para 3,1 segundos. A mesma técnica serve para qualquer agente com ferramentas pesadas.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que, a cada pergunta feita a um colega, você receba como resposta uma planilha de 23 megabytes em anexo, e isso dez vezes seguidas. Era mais ou menos assim que funcionava o agente de IA da Flightscape, fornecedora de plataformas para companhias aéreas. Os dados são arquivos JSON (formato de texto estruturado) com mais de 20 MB, são mais de quarenta ferramentas, e cada uma, ao ser chamada, devolvia sua parte desse volume direto para o contexto do modelo, ou seja, para a sua "memória de trabalho".
Os tokens (unidades de texto pelas quais se paga) eram consumidos em quantidade enorme, e a resposta média levava mais de 15 segundos. Depois da reformulação, em um arquivo de teste de 23 MB, o consumo de tokens caiu em até 71%, e a latência (tempo de espera pela resposta) diminuiu em até 80%. Os engenheiros descreveram o processo no blog da AWS, e o relato é útil para quem constrói agentes sobre grandes volumes de dados.
Qual era o problema
O agente verifica, com base em regras de negócio, as escalas de treinamento das tripulações. Na entrada há três documentos: a requisição ao otimizador de escalas, a resposta dele e o relatório do validador. O agente foi construído com LangGraph (framework open source da LangChain) e roda no Amazon Bedrock AgentCore, e a memória da sessão fica no AgentCore Memory.
Funcionalmente tudo funcionava, mas os dados pesados ficavam perto demais da conversa. Cada resposta de ferramenta entrava inteira no contexto, uma única resposta podia ocupar mais de 80 000 tokens, e em conversas de vários turnos isso se acumulava. Em conjuntos grandes, o contexto acabava antes que o agente conseguisse terminar de elaborar a resposta.
Três técnicas que resolveram o problema
Primeira: a memória da sessão guarda só referências. A requisição, a resposta, o relatório de validação e os dados derivados vão para o Amazon S3 (armazenamento de arquivos na nuvem). O AgentCore Memory registra as mensagens e as chaves dos objetos. No início do turno, a função hydrate_state() restaura o estado de trabalho; no fim, dehydrate_state() descarrega de novo o que é pesado para o armazenamento. A chave é calculada como um hash SHA-256 do conteúdo, de modo que dados idênticos não são enviados novamente. Há ainda um pequeno cache em processo, para não acessar o S3 duas vezes na mesma chamada.
Segunda: listas longas são entregues em partes. Se a ferramenta devolve uma lista maior que um limite definido, o resultado completo é salvo no S3. O modelo recebe uma resposta compacta: o número total de registros, uma pequena amostra e um identificador (handle), que é um link para o resultado completo. Se precisar de mais, o modelo chama get_result_page_tool com o identificador, um deslocamento (offset) e um limite, e obtém o trecho desejado. É como pedir ao bibliotecário o índice e alguns exemplos, em vez de exigir que ele traga o arquivo inteiro para a mesa.
Terceira: dicionários grandes são substituídos por uma descrição. Aqui a estrutura importa mais que o conteúdo. Para listas, ficam o número de elementos e cinco exemplos; para dicionários aninhados, o número de chaves, e os valores simples não mudam. A versão completa vai novamente para o armazenamento, com um identificador. Há também uma trava de segurança: se a resposta serializada ainda assim ultrapassar o limite de caracteres, ela é substituída por uma descrição.
Os números
A equipe rodou as mesmas perguntas sobre um mesmo conjunto de dados na versão antiga e na nova do agente e comparou as métricas no AgentCore Observability.
- Conversa de 5 perguntas com 23 MB de dados: os tokens caíram de cerca de 289 500 para 82 900 (−71%), e a latência média do trace, de 15,4 para 3,1 segundos (quase −80%).
- 100 perguntas de teste: tokens de 23,6 milhões para 8,5 milhões (−64%), latência média de 7 930 para 2 461 ms (−69%).
- Consulta mais pesada, a lista de tripulações válidas em todas as categorias de verificação: tokens de entrada de cerca de 32 000 para 8 000, tokens de saída de 2 800 para 477, tempo do turno de 165 para 9,9 segundos (−94%).
Os autores apontam ainda um efeito colateral: o crescimento do contexto ficou previsível, e em conversas longas o agente não fica mais lento a cada nova pergunta.
Ressalvas e o que levar para o seu projeto
Os números vêm do benchmark próprio de uma única empresa, com um só tipo de dados. No seu caso, o ganho dependerá de como são estruturadas as respostas das ferramentas. Se cada resposta for pequena, o esquema só vai acrescentar complexidade.
Há também um custo. Surge a dependência do S3 e de acessos adicionais ao armazenamento. O modelo agora decide sozinho quando carregar a página seguinte, e a amostra dos primeiros registros pode induzi-lo ao erro. Em perguntas que exigem todos os registros, o número de chamadas à ferramenta de paginação vai aumentar. Além disso, para o turno mais pesado o material traz dois valores: 9,9 segundos na tabela e cerca de 15 segundos na linha do tempo do trace, por isso convém tratar os números absolutos com cautela.
A conclusão prática é simples. Não entregue ao modelo o que ele não precisa ler por inteiro: guarde os objetos grandes fora, deixe só links na conversa, devolva das ferramentas um índice com exemplos e ofereça um meio de ler o trecho necessário. Para isso bastam Python 3.12+, boto3, langchain-core e langgraph, e os autores publicaram o código em um repositório separado no GitHub. Se o seu agente trabalha com relatórios grandes, logs ou exportações de CRM, comece medindo: quantos tokens vão para as respostas das ferramentas em um único turno. Provavelmente é ali que está escondida a maior parte da conta.
- 18 de nov. de 2026Claude Code salvava senhas de comandos: segredos apareceram em 1,1% dos arquivos de configuração no GitHub
- 12 de nov. de 2026Jensen Huang deixa o cargo de CEO da Nvidia: empresa perde US$ 1,4 trilhão em duas semanas
- 12 de nov. de 2026AWS mostra como 100% de precisão na busca escondem a falha de um agente de IA
- 12 de nov. de 2026AWS conecta três agentes de IA em duas contas por meio do protocolo A2A
Perguntas frequentes sobre a notícia
O que se sabe sobre Qual era o problema?
O agente verifica, com base em regras de negócio, as escalas de treinamento das tripulações. Na entrada há três documentos: a requisição ao otimizador de escalas, a resposta dele e o relatório do validador. O agente foi construído com LangGraph (framework open source da LangChain) e roda no Amazon Bedrock AgentCore, e a memória da sessão fica no AgentCore Memory. Funcionalmente tudo funcionava, mas os dados pesados ficavam perto demais da conversa.
O que se sabe sobre Três técnicas que resolveram o problema?
Primeira: a memória da sessão guarda só referências. A requisição, a resposta, o relatório de validação e os dados derivados vão para o Amazon S3 (armazenamento de arquivos na nuvem). O AgentCore Memory registra as mensagens e as chaves dos objetos. No início do turno, a função hydrate_state() restaura o estado de trabalho; no fim, dehydrate_state() descarrega de novo o que é pesado para o armazenamento. A chave é calculada como um hash SHA-256 do conteúdo, de modo que dados idênticos não são enviados novamente.
O que se sabe sobre Os números?
A equipe rodou as mesmas perguntas sobre um mesmo conjunto de dados na versão antiga e na nova do agente e comparou as métricas no AgentCore Observability. Conversa de 5 perguntas com 23 MB de dados: os tokens caíram de cerca de 289 500 para 82 900 (−71%), e a latência média do trace, de 15,4 para 3,1 segundos (quase −80%). 100 perguntas de teste: tokens de 23,6 milhões para 8,5 milhões (−64%), latência média de 7 930 para 2 461 ms (−69%).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.