Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Duco ужала контекст агентов на 90% и в 10 раз ускорила перенос сверок банков

У банковского агента Duco было 300–400 инструментов, и их описания занимали около 200 тысяч токенов памяти модели ещё до первого вопроса. Команда сделала «навыки», которые подгружаются по запросу, и контекст сжался на 90% — до 20 тысяч токенов. Вместе с запуском на Amazon Bedrock AgentCore это ускорило подключение новых сверок в 10 раз. Если у агента десятки инструментов, не грузите все схемы сразу.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Duco ужала контекст агентов на 90% и в 10 раз ускорила перенос сверок банков
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Один глобальный банк снизил стоимость подключения сверок на 70%
Ключевой факт #2Доля операций без ручного вмешательства в банке выросла более чем на 20%
Ключевой факт #3У каждого клиента свои AgentCore runtime, Gateway, база Aurora и ключи KMS

Банковскому ИИ-агенту нужно сверять данные между системами, то есть проверять, что записи об одних и тех же сделках совпадают. Для этого у платформы Duco на каждого клиента открыто 300–400 инструментов, и описания всех этих инструментов (около 200 тысяч токенов) загружались в память модели, её контекст, ещё до первого вопроса. Это как вручить сотруднику распечатку инструкций ко всем программам компании перед каждой задачей: чем больше страниц, тем быстрее он теряет нить.

Duco вынесла описания в «навыки», которые подгружаются только по запросу. Контекст сократился на 90%, с 200 тысяч до примерно 20 тысяч токенов. Вместе с переходом на Amazon Bedrock AgentCore это ускорило в 10 раз подключение новых сверок клиентов к платформе.

Если у вашего агента десятки инструментов, приём стоит взять на вооружение.

Duco обрабатывает 20 миллиардов транзакций в месяц для 200+ клиентов, среди которых 7 из 20 крупнейших банков и 10 из 20 крупнейших управляющих активами компаний.

Почему классического ML стало мало

Раньше Duco опиралась на традиционные модели машинного обучения: они подсказывали разметку и находили закономерности, и банки автоматизировали с их помощью более 20 тысяч процессов. У такого подхода есть ограничения. Моделям нужна большая история данных, они плохо справляются с новыми ситуациями, а под каждый сценарий их приходится дорабатывать. Форматы данных и бизнес-правила у банков постоянно меняются, и классические модели за ними не успевали.

Тогда компания перестроила стек на Amazon Bedrock (доступ к моделям через единый API) и Bedrock AgentCore (управляемая среда запуска агентов). Код на LangChain и LangGraph, который уже работал в продакшене, почти не пришлось переписывать. Модели Duco распределила по ролям. Claude Opus составляет план для других агентов. Claude Sonnet разбирает исключения и трактует правила. Claude Haiku быстро решает, какой инструмент вызвать. Amazon Nova 2 Pro сокращает ответы инструментов до читаемых сводок для аналитиков. Замена модели сводится к смене параметра в конфигурации.

Как ужали контекст на 90%

На одного клиента через AgentCore Gateway открыто 300–400 инструментов, по одному MCP-серверу на каждый сервис Duco. Их описания занимали около 200 тысяч токенов до первого сообщения пользователя. Качество ответов падало по мере роста диалога, и модель забывала ранние выводы. Команда отдельно отмечает: ощущения «агент тупеет» мало. Сначала нужно прогнать оценочные тесты, и только потом принимать инженерные решения.

Решение — подгрузка по требованию. Описания инструментов вынесли из статичного контекста в MCP-ресурсы типа skill://. Системный промпт собирается из частей в момент запуска (system://), а интерфейсные ресурсы (ui://) отделены от рабочих инструментов. Вместо сотен схем агент получил три мета-инструмента: load_skill подгружает описание навыка, find_tool ищет подходящий инструмент без загрузки всех схем, invoke_tool вызывает выбранный инструмент.

Итог: основной контекст сократился с 200 тысяч до примерно 20 тысяч токенов. Помогло и ограничение размера ответов инструментов. Модели, инструменты и задачи остались прежними, а качество ответов по внутренним оценкам выросло. Есть и экономический эффект: статичный префикс (системный промпт и три мета-инструмента) стабилен, а навыки попадают в диалог, а не в список инструментов, поэтому кэш промпта не сбрасывается.

При запуске агент получает только список имён инструментов. Новый микросервис регистрируется как цель на Gateway при деплое, и агент сразу умеет с ним работать, без перенастройки и простоя. Права проверяют сами сервисы: личность пользователя передаётся по всей цепочке, и каждый вызов выполняется от его имени.

Изоляция банков и результаты

У каждого клиента свой набор ресурсов: база Aurora MySQL, бакет S3, ключи KMS, очереди SQS, кэш, пул пользователей Cognito, а ещё отдельные AgentCore runtime и Gateway. Общей памяти или контекста между банками нет. Запросы проходят по JWT-токену из пула клиента, трафик идёт через приватные эндпоинты в VPC.

Агенты применяются в двух сценариях. Первый — подключение новых сверок. Раньше банки переносили тысячи процессов годами, примерно по одному в неделю. Теперь агенты читают разные форматы файлов, переводят старые конфигурации в процессы Duco и разбирают макросы в таблицах, написанные десятилетия назад. Подключение ускорилось в 10 раз. Один глобальный банк снизил стоимость подключения на 70%, а долю операций без ручного вмешательства увеличил более чем на 20%. Второй сценарий — первичный разбор расхождений. Агент группирует похожие случаи, проверяет, не известны ли они уже, собирает доказательства и предлагает решение. Окончательно решает аналитик, а каждое действие попадает в журнал аудита.

Что взять себе и где оговорки

Практический вывод: если у агента больше нескольких десятков инструментов, стоит разделить поиск инструмента и его вызов. Агенту достаточно списка имён, а подробности он подгружает по необходимости. Для SaaS с жёсткими требованиями полезен и принцип «один клиент — один runtime и один шлюз».

Оговорки тоже есть. Текст опубликован в блоге AWS и написан как кейс: цифры приведены без методики измерений и без названия банков. Нет данных об общей стоимости токенов или о том, как качество ответов измеряли в баллах. Архитектура тесно связана с сервисами AWS, хотя совместимость с LangGraph и открытыми фреймворками снижает риск привязки. Пример всё равно показывает, как устроены агенты в одной из самых регулируемых отраслей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему классического ML стало мало?

Раньше Duco опиралась на традиционные модели машинного обучения: они подсказывали разметку и находили закономерности, и банки автоматизировали с их помощью более 20 тысяч процессов. У такого подхода есть ограничения. Моделям нужна большая история данных, они плохо справляются с новыми ситуациями, а под каждый сценарий их приходится дорабатывать. Форматы данных и бизнес-правила у банков постоянно меняются, и классические модели за ними не успевали.

Что известно по теме: как ужали контекст на 90%?

На одного клиента через AgentCore Gateway открыто 300–400 инструментов, по одному MCP-серверу на каждый сервис Duco. Их описания занимали около 200 тысяч токенов до первого сообщения пользователя. Качество ответов падало по мере роста диалога, и модель забывала ранние выводы. Команда отдельно отмечает: ощущения «агент тупеет» мало. Сначала нужно прогнать оценочные тесты, и только потом принимать инженерные решения. Решение — подгрузка по требованию.

Что известно по теме: изоляция банков и результаты?

У каждого клиента свой набор ресурсов: база Aurora MySQL, бакет S3, ключи KMS, очереди SQS, кэш, пул пользователей Cognito, а ещё отдельные AgentCore runtime и Gateway. Общей памяти или контекста между банками нет. Запросы проходят по JWT-токену из пула клиента, трафик идёт через приватные эндпоинты в VPC. Агенты применяются в двух сценариях. Первый — подключение новых сверок. Раньше банки переносили тысячи процессов годами, примерно по одному в неделю.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…