Агент Flightscape с JSON на 23 МБ тратит до 71% меньше токенов и отвечает до 80% быстрее
Если ИИ-агент вызывает инструмент, а тот возвращает JSON на десятки мегабайт, весь файл попадает в контекст модели, и каждый следующий вопрос обходится дороже и медленнее. Команда Flightscape вынесла тяжёлые данные в S3, а модели отдаёт короткую выжимку со ссылкой на полный результат. На JSON в 23 МБ расход токенов упал на 71%, а средний ответ ускорился с 15,4 до 3,1 секунды. Тот же приём подойдёт любому агенту с тяжёлыми инструментами.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте, что на каждый ваш вопрос коллеге вы получаете ответ с приложенной таблицей на 23 мегабайта, и так десять раз подряд. Примерно так работал ИИ-агент Flightscape, поставщика платформы для авиакомпаний. Данные — файлы JSON (структурированный текстовый формат) размером 20+ МБ, инструментов больше сорока, и каждый при вызове возвращал свой кусок этого массива прямо в контекст модели, то есть в её «рабочую память». Токены (единицы текста, за которые платят) уходили в огромном количестве, а средний ответ занимал больше 15 секунд. После переделки на тестовом файле в 23 МБ расход токенов упал до 71%, а задержка (время ожидания ответа) сократилась до 80%. Инженеры описали путь в блоге AWS, и он полезен всем, кто строит агентов поверх больших данных.
В чём была проблема
Агент проверяет назначения на тренировки лётных экипажей по бизнес-правилам. На входе три документа: запрос к оптимизатору расписания, его ответ и отчёт валидатора. Агент собран на LangGraph (открытый фреймворк LangChain) и работает на Amazon Bedrock AgentCore, а память сессии хранится в AgentCore Memory.
Функционально всё работало, но тяжёлые данные лежали слишком близко к диалогу. Каждый ответ инструмента целиком попадал в контекст, один такой ответ мог занимать больше 80 000 токенов, а в многоходовом разговоре это копилось. На больших наборах контекст заканчивался раньше, чем агент успевал додумать ответ.
Три приёма, которые это починили
Первый: в памяти сессии лежат только ссылки. Запрос, ответ, отчёт валидации и производные данные уходят в Amazon S3 (облачное хранилище файлов). В AgentCore Memory пишутся сообщения и ключи объектов. В начале хода функция hydrate_state() восстанавливает рабочее состояние, в конце dehydrate_state() снова выгружает тяжёлое в хранилище. Ключ считается как хеш SHA-256 от содержимого, поэтому одинаковые данные повторно не загружаются. Рядом работает небольшой кэш в процессе, чтобы за один вызов не ходить в S3 дважды.
Второй: длинные списки отдаются порциями. Если инструмент вернул список больше заданного порога, полный результат сохраняется в S3. Модель получает компактный ответ: общее число записей, небольшую выборку и «ручку» (handle) — ссылку на полный результат. Нужно больше — модель вызывает get_result_page_tool с ручкой, смещением и лимитом и берёт нужный кусок. Это как попросить у библиотекаря оглавление и пару примеров, а не требовать вынести весь архив на стол.
Третий: большие словари заменяются описанием. Здесь структура важнее содержимого. Для списков остаются количество элементов и пять примеров, для вложенных словарей — число ключей, а простые значения не меняются. Полная версия снова уходит в хранилище с ручкой. Есть и страховка: если сериализованный ответ всё равно превышает лимит символов, он заменяется описанием.
Что получилось в цифрах
Команда прогнала одни и те же вопросы по одному набору данных на старой и новой версии агента и сравнила метрики в AgentCore Observability.
- Диалог из 5 вопросов на данных 23 МБ: токены упали примерно с 289 500 до 82 900 (−71%), средняя задержка трейса — с 15,4 до 3,1 секунды (почти −80%).
- 100 тестовых вопросов: токены с 23,6 млн до 8,5 млн (−64%), средняя задержка с 7 930 до 2 461 мс (−69%).
- Самый тяжёлый запрос, список корректных экипажей по всем категориям проверки: входные токены примерно с 32 000 до 8 000, выходные с 2 800 до 477, время хода с 165 до 9,9 секунды (−94%).
Авторы отмечают и побочный эффект: рост контекста стал предсказуемым, и в длинных диалогах агент не замедляется с каждым новым вопросом.
Оговорки и что взять себе
Цифры получены на собственном бенчмарке одной компании, на одном типе данных. У вас выигрыш будет зависеть от устройства ответов инструментов. Если каждый ответ маленький, схема только добавит сложности.
Есть и цена. Появляется зависимость от S3 и лишние обращения к хранилищу. Модель теперь сама решает, когда подгрузить следующую страницу, а выборка из первых записей может ввести её в заблуждение. Для вопросов, где нужны все записи, число вызовов инструмента постраничной выдачи вырастет. Кроме того, для самого тяжёлого хода в материале встречаются два значения: 9,9 секунды в таблице и около 15 секунд на временной шкале трейса, поэтому к абсолютным цифрам стоит относиться аккуратно.
Практический вывод простой. Не отдавайте модели то, что ей не нужно читать целиком: храните большие объекты снаружи, в диалоге оставляйте ссылки, из инструментов возвращайте оглавление с примерами и давайте способ дочитать нужную часть. Для этого достаточно Python 3.12+, boto3, langchain-core и langgraph, а код авторы выложили в отдельный GitHub-репозиторий. Если ваш агент работает с большими отчётами, логами или выгрузками из CRM, начните с замера: сколько токенов уходит на ответы инструментов за один ход. Скорее всего, там и спрятан основной счёт.
- 18 нояб. 2026 г.Claude Code сохранял пароли из команд: секреты нашли в 1,1% файлов настроек на GitHub
- 12 нояб. 2026 г.Дженсен Хуанг ушёл с поста CEO Nvidia: компания потеряла $1,4 трлн за две недели
- 12 нояб. 2026 г.AWS показала, как 100% точности поиска скрывают провал ИИ-агента
- 12 нояб. 2026 г.AWS связала трёх ИИ-агентов в двух аккаунтах через протокол A2A
Вопросы и ответы по материалу
Что известно по теме: в чём была проблема?
Агент проверяет назначения на тренировки лётных экипажей по бизнес-правилам. На входе три документа: запрос к оптимизатору расписания, его ответ и отчёт валидатора. Агент собран на LangGraph (открытый фреймворк LangChain) и работает на Amazon Bedrock AgentCore, а память сессии хранится в AgentCore Memory. Функционально всё работало, но тяжёлые данные лежали слишком близко к диалогу.
Что известно по теме: три приёма, которые это починили?
Первый: в памяти сессии лежат только ссылки. Запрос, ответ, отчёт валидации и производные данные уходят в Amazon S3 (облачное хранилище файлов). В AgentCore Memory пишутся сообщения и ключи объектов. В начале хода функция hydrate_state() восстанавливает рабочее состояние, в конце dehydrate_state() снова выгружает тяжёлое в хранилище. Ключ считается как хеш SHA-256 от содержимого, поэтому одинаковые данные повторно не загружаются. Рядом работает небольшой кэш в процессе, чтобы за один вызов не ходить в S3 дважды.
Что известно по теме: что получилось в цифрах?
Команда прогнала одни и те же вопросы по одному набору данных на старой и новой версии агента и сравнила метрики в AgentCore Observability. Диалог из 5 вопросов на данных 23 МБ: токены упали примерно с 289 500 до 82 900 (−71%), средняя задержка трейса — с 15,4 до 3,1 секунды (почти −80%). 100 тестовых вопросов: токены с 23,6 млн до 8,5 млн (−64%), средняя задержка с 7 930 до 2 461 мс (−69%).
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.