Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

AWS: цепочка из 10 агентов по 95% надёжности даёт на выходе лишь 59,9% успеха

Мультиагентные системы чаще ломаются не из-за модели, а из-за передач между агентами. Если каждый из 10 шагов цепочки срабатывает в 95% случаев, до конца без сбоя доходят лишь 59,9% запусков, а при 20 шагах — 35,8% (без повторов). Поэтому AWS советует начинать с жёстко заданного сценария и отдавать выбор пути модели, только если шаги нельзя описать заранее.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
AWS: цепочка из 10 агентов по 95% надёжности даёт на выходе лишь 59,9% успеха
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1God agent с 15+ инструментами в одном промпте путает выбор; лимит — пять
Бесконечные повторы без лимита жгут токеныстоп должен быть в коде
Ключевой факт #3Дебаты агентов — самый дорогой паттерн, нужен для редких дорогих решений

Представьте конвейер из агентов: первый извлекает данные из документа, второй их преобразует, третий проверяет, четвёртый отправляет результат дальше. На демо всё работает, а в проде система то и дело выдаёт мусор. AWS в своём разборе объясняет: виновата обычно не модель, а координация. Это классическая задача распределённых систем, а у многих команд, которые за неё берутся, нужных инженерных привычек пока нет. Отсюда и главная цифра: если каждый из 10 шагов цепочки срабатывает в 95% случаев, то весь путь без сбоя проходят только 59,9% запусков, а если шагов 20 — всего 35,8%. Расчёт упрощённый: цепочка строго последовательная и без повторных попыток, но направление понятно — каждая лишняя передача между агентами умножает риск.

Для практики вывод такой: прежде чем добавлять агентов, стоит понять, нужны ли они вообще. По данным, на которые ссылается AWS, около 88% ИИ-пилотов не доходят до продакшена. Исследование Stanford HAI показало, что две модели в связке могут работать хуже, чем любая из них по отдельности, если расходы на согласование больше пользы.

Два уровня паттернов: кто выбирает путь

AWS делит схемы координации по тому, кто управляет потоком работы. На первом уровне путь задаёт разработчик, на втором его выбирает модель прямо во время выполнения. Второй вариант гибче, но дороже по токенам, медленнее и сложнее в отладке. Рабочее правило: начинайте с первого уровня и переводите задачу на второй, только если её подзадачи появляются по ходу работы.

Первый уровень (жёсткий сценарий):

  • Последовательный конвейер: A → B → C. Порядок известен заранее, поэтому его легко тестировать, а стоимость предсказуема. Подходит для обработки документов, ETL и разбора гарантийных обращений.
  • Условный workflow: после проверки работа идёт по ветке. Например, код написан, тесты не прошли — возврат автору не более N раз, затем эскалация на человека. Лимит обеспечивает оркестратор, скажем, ограничение итераций в AWS Step Functions.
  • Роутер: классификатор читает запрос и отправляет его ровно к одному специалисту — по качеству, обслуживанию или расписанию.
  • Параллельный workflow: задача делится на независимые части, результаты потом сводятся. Задержка равна самому медленному агенту, а не сумме всех. Если упала одна ветка, повторяют только её.

Второй уровень (путь выбирает модель):

  • Оркестрация по плану: агент-планировщик ведёт явный список задач, а исполнители без состояния видят только свой фрагмент. Если один упал, остальные не страдают.
  • Передача управления (handoff): агент передаёт задачу коллеге вместе с проверенным состоянием и доказательствами. Если передан лишь пересказ в чате, это не handoff.
  • Диалог агентов: общий чат, очередь реплик задаёт круговой порядок или модель, а состояние хранится в истории переписки.
  • Дебаты и консенсус: несколько агентов независимо оценивают один и тот же вход, затем решает большинство или судья. Это самый дорогой паттерн: на задачах восприятия он покупает задержку, а не точность. Его стоит держать для редких решений, где ошибка стоит дороже обсуждения.

На практике большинство продакшен-систем гибридные: жёсткие сценарии для понятных частей и автономные агенты там, где нужна гибкость.

Пять антипаттернов, которые сжигают бюджет

  1. God agent. Один агент отвечает за анализ эффективности оборудования, диагностику контроллеров и обслуживание, имея 15 и более инструментов в одном промпте. Выбор инструмента ухудшается, ошибки трудно приписать. Лучше несколько агентов максимум на пять инструментов.
  2. Бесконечные повторы. Агент крутит «попробуй ещё» без жёсткого стопа. Ни один вызов не поднимает тревогу, а токены уходят. Потолок итераций, лимит токенов на агента и сигнал бюджета с автоматической остановкой должны быть в коде. Сама модель не остановится.
  3. Договоры на естественном языке. Агенты передают друг другу текст без схемы. «Возможно, износ» превращается в «подтверждённый износ», а затем в заказ на ремонт. Дрейф происходит между агентами, где трассировка тоньше всего.
  4. Преждевременный мультиагент. Каждый дополнительный агент добавляет нелинейный налог на координацию, а выгода выходит на плато примерно на четырёх. Тест: если один агент справляется, просто переключая группы инструментов, это не мультиагентная задача.
  5. Агент без защиты на границе с клиентом. Письма, выезды сервиса и параметры станков запускаются без подтверждения. Галлюцинации выходят в физический мир, ответственность вырастает от возврата денег до ответственности за продукт. AWS предлагает многослойную защиту: рекомендация, Amazon Bedrock Guardrails, проверка схемы, бизнес-правила, одобрение человеком и только потом исполнение.

Что взять в работу

Выбирайте простейшую архитектуру, которая закрывает требования. Если схему можно нарисовать на доске до запуска, начинайте с первого уровня. Лимиты, схемы данных и правила безопасности держите в инфраструктуре и коде, а не в промптах. На производстве к этому добавляются такт линии, границы безопасности, данные на периферии и сменные циклы: именно они определяют, какая схема подойдёт.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: два уровня паттернов: кто выбирает путь?

AWS делит схемы координации по тому, кто управляет потоком работы. На первом уровне путь задаёт разработчик, на втором его выбирает модель прямо во время выполнения. Второй вариант гибче, но дороже по токенам, медленнее и сложнее в отладке. Рабочее правило: начинайте с первого уровня и переводите задачу на второй, только если её подзадачи появляются по ходу работы. Первый уровень (жёсткий сценарий): Последовательный конвейер: A → B → C.

Что известно по теме: пять антипаттернов, которые сжигают бюджет?

God agent. Один агент отвечает за анализ эффективности оборудования, диагностику контроллеров и обслуживание, имея 15 и более инструментов в одном промпте. Выбор инструмента ухудшается, ошибки трудно приписать. Лучше несколько агентов максимум на пять инструментов. Бесконечные повторы. Агент крутит «попробуй ещё» без жёсткого стопа. Ни один вызов не поднимает тревогу, а токены уходят. Потолок итераций, лимит токенов на агента и сигнал бюджета с автоматической остановкой должны быть в коде.

Что известно по теме: что взять в работу?

Выбирайте простейшую архитектуру, которая закрывает требования. Если схему можно нарисовать на доске до запуска, начинайте с первого уровня. Лимиты, схемы данных и правила безопасности держите в инфраструктуре и коде, а не в промптах. На производстве к этому добавляются такт линии, границы безопасности, данные на периферии и сменные циклы: именно они определяют, какая схема подойдёт.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…