AWS и NVIDIA показали, как делить запросы кодинг-агента между Claude Opus 5.5 и Nemotron
Кодинг-агент вроде Claude Code делает за одну задачу от нескольких до десятков запросов, поэтому цена токена не показывает цену задачи. AWS выложила шаблон, где библиотека NVIDIA Switchyard в шлюзе LiteLLM выбирает на каждом шаге: сильную Claude Opus 5.5 или более дешёвую Nemotron 3 Super 120B. Выгоду считают как стоимость всех запусков, делённую на число запусков с пройденными тестами, — так видно, окупается ли дешёвая модель.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Представьте, что вы попросили кодинг-агента поправить баг. Он читает файлы, правит код, запускает тесты, снова правит, и так по кругу, пока всё не заработает. На одну такую задачу может уйти несколько обращений к модели, а может несколько десятков. Платите вы за задачу целиком, а не за один вызов, поэтому цена за токен почти ничего не говорит о реальных расходах. AWS опубликовала в блоге пример, как разделить запросы агента между двумя моделями на Amazon Bedrock: сильной Claude Opus 5.5 и более дешёвой NVIDIA Nemotron 3 Super 120B. Там же показано, как проверить, окупается ли такая схема.
Почему считать нужно решённые задачи, а не токены
Итоговая цена зависит от трёх вещей: сколько ходов модели нужно для задачи, сколько истории переотправляется на каждом ходу и как часто задачу приходится перезапускать или она вовсе не завершается. Платить приходится за каждую попытку, в том числе провальную. Авторы предлагают простую метрику: стоимость всех запусков, делённая на число запусков, в которых тесты прошли. Дешёвая модель с низким процентом успеха легко окажется дороже сильной, которая справляется с первого раза.
Как устроена маршрутизация
NVIDIA NeMo Switchyard — открытая библиотека, которая решает, какая модель обработает очередной запрос агента. В связке с LiteLLM, открытым шлюзом для LLM, доступны две стратегии. Stage смотрит на последние результаты инструментов в истории разговора и выбирает из двух кандидатов: способной модели или эффективной и более дешёвой. Random распределяет трафик по заданным весам, что удобно для A/B-сравнений: в примере профиль делит трафик 50 на 50.
В шаблоне «способная» модель — Claude Opus 5.5, «эффективная» — Nemotron 3 Super 120B. Порядок в конфиге важен: первая считается сильной, вторая дешёвой. Настройка efficient_first означает, что при неясных сигналах выбирается дешёвая модель. Новый запрос ещё не содержит результатов инструментов, поэтому первым делом уходит на Nemotron. Окно анализа равно трём последним результатам. Судья-модель для выбора не вызывается, поэтому агент обязан присылать полную историю разговора: иначе Stage нечего читать. Стратегии, которым нужны промежуточные вызовы модели-классификатора, например Task и Composite, эта интеграция не поддерживает.
В конфиге описаны и две одиночные группы: только Claude и только Nemotron. Они нужны как контрольные, чтобы в том же развёртывании сравнить маршрутизацию с каждой моделью по отдельности.
Что внутри шаблона и какие есть оговорки
Шаблон на AWS CDK поднимает LiteLLM со встроенным плагином Switchyard в одном контейнере на ECS Fargate в приватных подсетях. Запросы идут через HTTPS-балансировщик с сертификатом ACM, AWS WAF и ограничением по вашему IP-диапазону. Балансировщик пропускает только три пути: /v1/chat/completions, /v1/models и /health/liveliness. Админка и документация LiteLLM снаружи недоступны. К Bedrock шлюз обращается через Converse API и интерфейсный VPC-эндпоинт, так что трафик остаётся внутри сети AWS. Ключ шлюза генерирует Secrets Manager, логи хранятся в CloudWatch 30 дней. Какая модель ответила, видно в заголовке x-litellm-model-name, а поле model в теле ответа остаётся switchyard.
Теперь об ограничениях. NVIDIA называет switchyard-server 0.3.0 демонстрационным компонентом для оценки, интеграция с LiteLLM экспериментальная, а конфигурация может меняться между релизами. Сам код AWS помечает как образец для непродакшн-аккаунтов. Не кладите ключи AWS в litellm.yaml: файл целиком копируется в определение задачи и шаблон CloudFormation открытым текстом. Префикс global. у Claude означает глобальный межрегиональный профиль, и запросы могут обрабатываться в других регионах. Если место обработки важно, берите географический профиль или модель в своём регионе. Пара моделей проверена в US East (N. Virginia), для других регионов доступность нужно уточнять отдельно.
Практический вывод
Пример полезен командам, которые уже гоняют кодинг-агентов и хотят проверить гипотезу: часть шагов можно отдать дешёвой модели без потери доли решённых задач. В комплекте есть раннеры бенчмарка, которые считают стоимость решённой задачи для маршрутизируемой группы и для одиночных контрольных. В переданном фрагменте статьи итоговых цифр экономии нет, так что результат придётся мерить на собственных задачах.
- 21 нояб. 2026 г.Anthropic снизила цену Claude Fable 5.2 на 20%, а в тесте на код она почти равна Opus 5.5
- 21 нояб. 2026 г.Dreamteam привлёк $53M на CRM, которая сама заполняется из почты и звонков
- 21 нояб. 2026 г.Нейросеть Claude Opus 5.5 достраивает хоррор Dimension 9 из 15 комнат автора
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
Вопросы и ответы по материалу
Что известно по теме: почему считать нужно решённые задачи, а не токены?
Итоговая цена зависит от трёх вещей: сколько ходов модели нужно для задачи, сколько истории переотправляется на каждом ходу и как часто задачу приходится перезапускать или она вовсе не завершается. Платить приходится за каждую попытку, в том числе провальную. Авторы предлагают простую метрику: стоимость всех запусков, делённая на число запусков, в которых тесты прошли. Дешёвая модель с низким процентом успеха легко окажется дороже сильной, которая справляется с первого раза.
Что известно по теме: как устроена маршрутизация?
NVIDIA NeMo Switchyard — открытая библиотека, которая решает, какая модель обработает очередной запрос агента. В связке с LiteLLM, открытым шлюзом для LLM, доступны две стратегии. Stage смотрит на последние результаты инструментов в истории разговора и выбирает из двух кандидатов: способной модели или эффективной и более дешёвой. Random распределяет трафик по заданным весам, что удобно для A/B-сравнений: в примере профиль делит трафик 50 на 50.
Что известно по теме: что внутри шаблона и какие есть оговорки?
Шаблон на AWS CDK поднимает LiteLLM со встроенным плагином Switchyard в одном контейнере на ECS Fargate в приватных подсетях. Запросы идут через HTTPS-балансировщик с сертификатом ACM, AWS WAF и ограничением по вашему IP-диапазону. Балансировщик пропускает только три пути: /v1/chat/completions, /v1/models и /health/liveliness. Админка и документация LiteLLM снаружи недоступны. К Bedrock шлюз обращается через Converse API и интерфейсный VPC-эндпоинт, так что трафик остаётся внутри сети AWS.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.