Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

Агент Flightscape с JSON на 23 МБ тратит до 71% меньше токенов и отвечает до 80% быстрее

Если ИИ-агент вызывает инструмент, а тот возвращает JSON на десятки мегабайт, весь файл попадает в контекст модели, и каждый следующий вопрос обходится дороже и медленнее. Команда Flightscape вынесла тяжёлые данные в S3, а модели отдаёт короткую выжимку со ссылкой на полный результат. На JSON в 23 МБ расход токенов упал на 71%, а средний ответ ускорился с 15,4 до 3,1 секунды. Тот же приём подойдёт любому агенту с тяжёлыми инструментами.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Агент Flightscape с JSON на 23 МБ тратит до 71% меньше токенов и отвечает до 80% быстрее
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Самый тяжёлый запрос165 → 9,9 секунды, входные токены 32 000 → 8 000
Ключевой факт #2На 100 тестовых вопросах токенов 8,5 млн вместо 23,6 млн (−64%)
Ключевой факт #3Модель сама листает результат через get_result_page_tool по ссылке

Представьте, что на каждый ваш вопрос коллеге вы получаете ответ с приложенной таблицей на 23 мегабайта, и так десять раз подряд. Примерно так работал ИИ-агент Flightscape, поставщика платформы для авиакомпаний. Данные — файлы JSON (структурированный текстовый формат) размером 20+ МБ, инструментов больше сорока, и каждый при вызове возвращал свой кусок этого массива прямо в контекст модели, то есть в её «рабочую память». Токены (единицы текста, за которые платят) уходили в огромном количестве, а средний ответ занимал больше 15 секунд. После переделки на тестовом файле в 23 МБ расход токенов упал до 71%, а задержка (время ожидания ответа) сократилась до 80%. Инженеры описали путь в блоге AWS, и он полезен всем, кто строит агентов поверх больших данных.

В чём была проблема

Агент проверяет назначения на тренировки лётных экипажей по бизнес-правилам. На входе три документа: запрос к оптимизатору расписания, его ответ и отчёт валидатора. Агент собран на LangGraph (открытый фреймворк LangChain) и работает на Amazon Bedrock AgentCore, а память сессии хранится в AgentCore Memory.

Функционально всё работало, но тяжёлые данные лежали слишком близко к диалогу. Каждый ответ инструмента целиком попадал в контекст, один такой ответ мог занимать больше 80 000 токенов, а в многоходовом разговоре это копилось. На больших наборах контекст заканчивался раньше, чем агент успевал додумать ответ.

Три приёма, которые это починили

Первый: в памяти сессии лежат только ссылки. Запрос, ответ, отчёт валидации и производные данные уходят в Amazon S3 (облачное хранилище файлов). В AgentCore Memory пишутся сообщения и ключи объектов. В начале хода функция hydrate_state() восстанавливает рабочее состояние, в конце dehydrate_state() снова выгружает тяжёлое в хранилище. Ключ считается как хеш SHA-256 от содержимого, поэтому одинаковые данные повторно не загружаются. Рядом работает небольшой кэш в процессе, чтобы за один вызов не ходить в S3 дважды.

Второй: длинные списки отдаются порциями. Если инструмент вернул список больше заданного порога, полный результат сохраняется в S3. Модель получает компактный ответ: общее число записей, небольшую выборку и «ручку» (handle) — ссылку на полный результат. Нужно больше — модель вызывает get_result_page_tool с ручкой, смещением и лимитом и берёт нужный кусок. Это как попросить у библиотекаря оглавление и пару примеров, а не требовать вынести весь архив на стол.

Третий: большие словари заменяются описанием. Здесь структура важнее содержимого. Для списков остаются количество элементов и пять примеров, для вложенных словарей — число ключей, а простые значения не меняются. Полная версия снова уходит в хранилище с ручкой. Есть и страховка: если сериализованный ответ всё равно превышает лимит символов, он заменяется описанием.

Что получилось в цифрах

Команда прогнала одни и те же вопросы по одному набору данных на старой и новой версии агента и сравнила метрики в AgentCore Observability.

  • Диалог из 5 вопросов на данных 23 МБ: токены упали примерно с 289 500 до 82 900 (−71%), средняя задержка трейса — с 15,4 до 3,1 секунды (почти −80%).
  • 100 тестовых вопросов: токены с 23,6 млн до 8,5 млн (−64%), средняя задержка с 7 930 до 2 461 мс (−69%).
  • Самый тяжёлый запрос, список корректных экипажей по всем категориям проверки: входные токены примерно с 32 000 до 8 000, выходные с 2 800 до 477, время хода с 165 до 9,9 секунды (−94%).

Авторы отмечают и побочный эффект: рост контекста стал предсказуемым, и в длинных диалогах агент не замедляется с каждым новым вопросом.

Оговорки и что взять себе

Цифры получены на собственном бенчмарке одной компании, на одном типе данных. У вас выигрыш будет зависеть от устройства ответов инструментов. Если каждый ответ маленький, схема только добавит сложности.

Есть и цена. Появляется зависимость от S3 и лишние обращения к хранилищу. Модель теперь сама решает, когда подгрузить следующую страницу, а выборка из первых записей может ввести её в заблуждение. Для вопросов, где нужны все записи, число вызовов инструмента постраничной выдачи вырастет. Кроме того, для самого тяжёлого хода в материале встречаются два значения: 9,9 секунды в таблице и около 15 секунд на временной шкале трейса, поэтому к абсолютным цифрам стоит относиться аккуратно.

Практический вывод простой. Не отдавайте модели то, что ей не нужно читать целиком: храните большие объекты снаружи, в диалоге оставляйте ссылки, из инструментов возвращайте оглавление с примерами и давайте способ дочитать нужную часть. Для этого достаточно Python 3.12+, boto3, langchain-core и langgraph, а код авторы выложили в отдельный GitHub-репозиторий. Если ваш агент работает с большими отчётами, логами или выгрузками из CRM, начните с замера: сколько токенов уходит на ответы инструментов за один ход. Скорее всего, там и спрятан основной счёт.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём была проблема?

Агент проверяет назначения на тренировки лётных экипажей по бизнес-правилам. На входе три документа: запрос к оптимизатору расписания, его ответ и отчёт валидатора. Агент собран на LangGraph (открытый фреймворк LangChain) и работает на Amazon Bedrock AgentCore, а память сессии хранится в AgentCore Memory. Функционально всё работало, но тяжёлые данные лежали слишком близко к диалогу.

Что известно по теме: три приёма, которые это починили?

Первый: в памяти сессии лежат только ссылки. Запрос, ответ, отчёт валидации и производные данные уходят в Amazon S3 (облачное хранилище файлов). В AgentCore Memory пишутся сообщения и ключи объектов. В начале хода функция hydrate_state() восстанавливает рабочее состояние, в конце dehydrate_state() снова выгружает тяжёлое в хранилище. Ключ считается как хеш SHA-256 от содержимого, поэтому одинаковые данные повторно не загружаются. Рядом работает небольшой кэш в процессе, чтобы за один вызов не ходить в S3 дважды.

Что известно по теме: что получилось в цифрах?

Команда прогнала одни и те же вопросы по одному набору данных на старой и новой версии агента и сравнила метрики в AgentCore Observability. Диалог из 5 вопросов на данных 23 МБ: токены упали примерно с 289 500 до 82 900 (−71%), средняя задержка трейса — с 15,4 до 3,1 секунды (почти −80%). 100 тестовых вопросов: токены с 23,6 млн до 8,5 млн (−64%), средняя задержка с 7 930 до 2 461 мс (−69%).

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…