Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарAWS Machine Learning Blog→ оригинал

Турнир агентов в Cisco: 1200 инженеров, победил тот, кто писал 1220 токенов вместо 1430

Cisco превратила обучение ИИ-агентам в соревнование: в 2026 году в турнире AWS AI League играли 1200 инженеров. В квалификации четыре лучших агента прошли карту целиком, и победил тот, кто писал меньше: 1220 выходных токенов против 1430 у второго места, разрыв 16 очков из почти 16 000. Это как два бота поддержки с одинаково верными ответами: выигрывает не болтливый. Когда все решают задачу, считайте токены, которые агент пишет сам.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Системный промпт и ответы инструментов в счёт не шли, а текст агента шёл
Ключевой факт #2Каждый вызов инструмента добавлял около 52 токенов фиксированных накладных
Ключевой факт #3Победил один агент без субагентов, в финале у него 27 008 очков

Проблема знакомая любой компании, которая внедряет ИИ-агентов: доступ к технологии есть у всех, а уверенно строить на ней продукты умеют единицы. Слайды и записи вебинаров этот разрыв почти не закрывают. Cisco попробовала другой путь: превратила обучение в турнир с живой таблицей лидеров.

В 2026 году в нём участвовали 1200 инженеров. Заодно получился полезный разбор того, как выглядит выигрышный агент. Допустим, у вас два бота поддержки, которые отвечают одинаково верно.

Но один пишет в ответ короткую фразу, а другой — три абзаца и пересказ собственных шагов. При большом потоке запросов разница в токенах превращается в заметные деньги. Именно этот эффект и решил исход турнира.

Если вы строите агентов, читать стоит ради практических выводов: считайте стоимость каждого сообщения, не плодите лишних агентов и не заставляйте модель делать то, что умеет обычный код. Материал опубликован в блоге AWS, так что рекламный фон очевиден, но технические выводы работают и без привязки к облаку.

Как устроен турнир AWS AI League

AWS AI League — формат из трёх шагов. Сначала двухчасовой воркшоп с экспертами AWS, затем самостоятельная сборка решения с отправкой на лидерборд, где автоматический оценщик отвечает после каждой попытки, и наконец финал на сцене в стиле телешоу. В Cisco было два трека: сборка агентов на Amazon Bedrock AgentCore (платформе AWS для создания и запуска агентов на любых моделях и фреймворках) и дообучение моделей в Amazon SageMaker Studio.

В агентном треке программа ходит по клетчатому лабиринту к сундуку с сокровищем. По пути ей встречаются задачи, похожие на рабочие: отфильтровать неподобающий контент, выполнить код, найти информацию в вебе, извлечь структурированные данные. Безопасность закрывал Amazon Bedrock Guardrails, а память агента — AgentCore memory.

Масштаб такой: на Cisco Transformation Fest 4.0 квалификация шла в четырёх потоках. Пять лучших из каждого попадали в полуфинал, из 20 полуфиналистов трое выходили в финал из трёх живых раундов. Победитель Нишант Алухонну, инженер Cisco, был первым на всех этапах. В финале он набрал 27 008 очков суммарно и получил пропуск на AWS re:Invent 2026. Годом раньше инженер Cisco Хемант В. выиграл глобальный финал на re:Invent 2025, а сам Transformation Fest с 2022 года охватил около 2000 инженеров.

Что показал победивший агент

Платишь за то, что модель пишет. Очки включали бонус за токены: 1000 минус количество выходных токенов, делённое на число посещённых задач. Выходные токены — это всё, что агент сам сгенерировал.

В квалификации четыре лучших агента решили карту целиком, и победил тот, кто писал меньше: 1220 выходных токенов против 1430 у второго места. Разрыв составил 16 очков из почти 16 000. Нишант собрал девять вариантов одного агента, меняя по одному параметру.

Выяснилось, что ответы инструментов и системный промпт на счёт не влияют, а всё написанное агентом, включая аргументы вызова инструментов, влияет. Каждый вызов добавлял примерно 52 токена фиксированных накладных расходов. В реальной жизни логика та же: генерация идёт последовательно и обычно стоит в несколько раз дороже чтения, а в цикле агента расходы копятся на каждом шаге.

Длинный структурированный промпт, который к тому же можно кешировать, обходится дёшево. Болтливый агент обходится дорого.

Один агент вместо пяти. Типовая схема для задания: главный агент-супервайзер на AgentCore делегирует навигацию, вычисления и веб-поиск узким субагентам. Для многих продуктов это здравый подход. Победитель обошёлся одним агентом без субагентов. В начале его промпта стояла короткая таблица: тип задачи — нужный способ решения за один ход. Любая передача между агентами — это сообщение, которое модель должна написать, а значит, оплатить токенами. Вывод не в том, что субагенты плохи. Архитектуру стоит выбирать по цене координации, и когда она высока, плоская схема может выиграть.

Финал и практические выводы

В финале нельзя было менять код, инструменты и промпты, разрешалась только короткая подсказка перед раундом. Поэтому всё решало качество решений на картах, которых агент раньше не видел. Нишант проиграл первый раунд, зато второй выиграл с большим отрывом: проигнорировал поле, усыпанное дешёвыми монетами, и пошёл за одной дорогой задачей. Значит, система не безошибочна, но её логика ценности сработала там, где привычка собирать всё подряд проиграла бы.

Что взять на практике. Перед добавлением нового агента в схему посчитайте, сколько токенов стоит каждая передача между ними. Выносите в обычный код то, что детерминировано, и держите в промпте короткую таблицу маршрутизации. Оговорки тоже важны: турнирная метрика с бонусом за токены искусственна, а в проде ошибка на сложной задаче обычно дороже лишних 200 токенов. И это отчёт партнёра AWS без независимых замеров. Если же нужно быстро поднять навык команды, формат «собери, сломай, почини и сравни на лидерборде» явно эффективнее лекций. Cisco сделала его ежегодным.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен турнир AWS AI League?

AWS AI League — формат из трёх шагов. Сначала двухчасовой воркшоп с экспертами AWS, затем самостоятельная сборка решения с отправкой на лидерборд, где автоматический оценщик отвечает после каждой попытки, и наконец финал на сцене в стиле телешоу. В Cisco было два трека: сборка агентов на Amazon Bedrock AgentCore (платформе AWS для создания и запуска агентов на любых моделях и фреймворках) и дообучение моделей в Amazon SageMaker Studio.

Что известно по теме: что показал победивший агент?

Платишь за то, что модель пишет. Очки включали бонус за токены: 1000 минус количество выходных токенов, делённое на число посещённых задач. Выходные токены — это всё, что агент сам сгенерировал. В квалификации четыре лучших агента решили карту целиком, и победил тот, кто писал меньше: 1220 выходных токенов против 1430 у второго места. Разрыв составил 16 очков из почти 16 000. Нишант собрал девять вариантов одного агента, меняя по одному параметру.

Что известно по теме: финал и практические выводы?

В финале нельзя было менять код, инструменты и промпты, разрешалась только короткая подсказка перед раундом. Поэтому всё решало качество решений на картах, которых агент раньше не видел. Нишант проиграл первый раунд, зато второй выиграл с большим отрывом: проигнорировал поле, усыпанное дешёвыми монетами, и пошёл за одной дорогой задачей. Значит, система не безошибочна, но её логика ценности сработала там, где привычка собирать всё подряд проиграла бы. Что взять на практике.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…