Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS и NVIDIA показали, как делить запросы кодинг-агента между Claude Opus 5.5 и Nemotron

Кодинг-агент вроде Claude Code делает за одну задачу от нескольких до десятков запросов, поэтому цена токена не показывает цену задачи. AWS выложила шаблон, где библиотека NVIDIA Switchyard в шлюзе LiteLLM выбирает на каждом шаге: сильную Claude Opus 5.5 или более дешёвую Nemotron 3 Super 120B. Выгоду считают как стоимость всех запусков, делённую на число запусков с пройденными тестами, — так видно, окупается ли дешёвая модель.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS и NVIDIA показали, как делить запросы кодинг-агента между Claude Opus 5.5 и Nemotron
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Stage смотрит 3 последних результата инструментов и выбирает из 2 моделей
Ключевой факт #2Новый запрос без истории сразу уходит на дешёвую Nemotron 3 Super
Ключевой факт #3Switchyard-server 0.3.0 — демо-версия, для продакшна не подходит

Представьте, что вы попросили кодинг-агента поправить баг. Он читает файлы, правит код, запускает тесты, снова правит, и так по кругу, пока всё не заработает. На одну такую задачу может уйти несколько обращений к модели, а может несколько десятков. Платите вы за задачу целиком, а не за один вызов, поэтому цена за токен почти ничего не говорит о реальных расходах. AWS опубликовала в блоге пример, как разделить запросы агента между двумя моделями на Amazon Bedrock: сильной Claude Opus 5.5 и более дешёвой NVIDIA Nemotron 3 Super 120B. Там же показано, как проверить, окупается ли такая схема.

Почему считать нужно решённые задачи, а не токены

Итоговая цена зависит от трёх вещей: сколько ходов модели нужно для задачи, сколько истории переотправляется на каждом ходу и как часто задачу приходится перезапускать или она вовсе не завершается. Платить приходится за каждую попытку, в том числе провальную. Авторы предлагают простую метрику: стоимость всех запусков, делённая на число запусков, в которых тесты прошли. Дешёвая модель с низким процентом успеха легко окажется дороже сильной, которая справляется с первого раза.

Как устроена маршрутизация

NVIDIA NeMo Switchyard — открытая библиотека, которая решает, какая модель обработает очередной запрос агента. В связке с LiteLLM, открытым шлюзом для LLM, доступны две стратегии. Stage смотрит на последние результаты инструментов в истории разговора и выбирает из двух кандидатов: способной модели или эффективной и более дешёвой. Random распределяет трафик по заданным весам, что удобно для A/B-сравнений: в примере профиль делит трафик 50 на 50.

В шаблоне «способная» модель — Claude Opus 5.5, «эффективная» — Nemotron 3 Super 120B. Порядок в конфиге важен: первая считается сильной, вторая дешёвой. Настройка efficient_first означает, что при неясных сигналах выбирается дешёвая модель. Новый запрос ещё не содержит результатов инструментов, поэтому первым делом уходит на Nemotron. Окно анализа равно трём последним результатам. Судья-модель для выбора не вызывается, поэтому агент обязан присылать полную историю разговора: иначе Stage нечего читать. Стратегии, которым нужны промежуточные вызовы модели-классификатора, например Task и Composite, эта интеграция не поддерживает.

В конфиге описаны и две одиночные группы: только Claude и только Nemotron. Они нужны как контрольные, чтобы в том же развёртывании сравнить маршрутизацию с каждой моделью по отдельности.

Что внутри шаблона и какие есть оговорки

Шаблон на AWS CDK поднимает LiteLLM со встроенным плагином Switchyard в одном контейнере на ECS Fargate в приватных подсетях. Запросы идут через HTTPS-балансировщик с сертификатом ACM, AWS WAF и ограничением по вашему IP-диапазону. Балансировщик пропускает только три пути: /v1/chat/completions, /v1/models и /health/liveliness. Админка и документация LiteLLM снаружи недоступны. К Bedrock шлюз обращается через Converse API и интерфейсный VPC-эндпоинт, так что трафик остаётся внутри сети AWS. Ключ шлюза генерирует Secrets Manager, логи хранятся в CloudWatch 30 дней. Какая модель ответила, видно в заголовке x-litellm-model-name, а поле model в теле ответа остаётся switchyard.

Теперь об ограничениях. NVIDIA называет switchyard-server 0.3.0 демонстрационным компонентом для оценки, интеграция с LiteLLM экспериментальная, а конфигурация может меняться между релизами. Сам код AWS помечает как образец для непродакшн-аккаунтов. Не кладите ключи AWS в litellm.yaml: файл целиком копируется в определение задачи и шаблон CloudFormation открытым текстом. Префикс global. у Claude означает глобальный межрегиональный профиль, и запросы могут обрабатываться в других регионах. Если место обработки важно, берите географический профиль или модель в своём регионе. Пара моделей проверена в US East (N. Virginia), для других регионов доступность нужно уточнять отдельно.

Практический вывод

Пример полезен командам, которые уже гоняют кодинг-агентов и хотят проверить гипотезу: часть шагов можно отдать дешёвой модели без потери доли решённых задач. В комплекте есть раннеры бенчмарка, которые считают стоимость решённой задачи для маршрутизируемой группы и для одиночных контрольных. В переданном фрагменте статьи итоговых цифр экономии нет, так что результат придётся мерить на собственных задачах.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему считать нужно решённые задачи, а не токены?

Итоговая цена зависит от трёх вещей: сколько ходов модели нужно для задачи, сколько истории переотправляется на каждом ходу и как часто задачу приходится перезапускать или она вовсе не завершается. Платить приходится за каждую попытку, в том числе провальную. Авторы предлагают простую метрику: стоимость всех запусков, делённая на число запусков, в которых тесты прошли. Дешёвая модель с низким процентом успеха легко окажется дороже сильной, которая справляется с первого раза.

Что известно по теме: как устроена маршрутизация?

NVIDIA NeMo Switchyard — открытая библиотека, которая решает, какая модель обработает очередной запрос агента. В связке с LiteLLM, открытым шлюзом для LLM, доступны две стратегии. Stage смотрит на последние результаты инструментов в истории разговора и выбирает из двух кандидатов: способной модели или эффективной и более дешёвой. Random распределяет трафик по заданным весам, что удобно для A/B-сравнений: в примере профиль делит трафик 50 на 50.

Что известно по теме: что внутри шаблона и какие есть оговорки?

Шаблон на AWS CDK поднимает LiteLLM со встроенным плагином Switchyard в одном контейнере на ECS Fargate в приватных подсетях. Запросы идут через HTTPS-балансировщик с сертификатом ACM, AWS WAF и ограничением по вашему IP-диапазону. Балансировщик пропускает только три пути: /v1/chat/completions, /v1/models и /health/liveliness. Админка и документация LiteLLM снаружи недоступны. К Bedrock шлюз обращается через Converse API и интерфейсный VPC-эндпоинт, так что трафик остаётся внутри сети AWS.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…