Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Rescale за 5 дней сделала ИИ-агента для упавших тестов: ожидание выкладки короче на 20%

Каждое утро дежурный инженер Rescale разбирал упавшие за ночь автотесты и решал, кому передать сбой, а пока тесты красные, релиз в прод стоит. Теперь первый разбор делает ИИ-агент на Claude, собранный за пять дней по методологии AI-DLC. Его вердикт совпадает с мнением людей в 68% случаев (на старте было 44%), а ожидание выкладки из-за разбора сбоев сократилось на 20%. Рутину сортировки можно отдавать агенту, оставив проверку человеку.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Rescale за 5 дней сделала ИИ-агента для упавших тестов: ожидание выкладки короче на 20%
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Агент относит сбой к одной из 4 причининфраструктура, баг, флаки-тест, окружение
Ключевой факт #2Работает шагом в Argo Workflows на Amazon EKS и отвечает за секунды
Ключевой факт #3Инженер проверяет отчёт до любых действий, автоматических PR пока нет

Каждая инженерная команда знает этот ритуал. Ночью падают автотесты, утром дежурный открывает логи, выясняет причину и передаёт задачу нужной команде. Потом всё повторяется. В Rescale, платформе для инженерных расчётов и симуляций, эти тесты ещё и блокируют еженедельный релиз: пока сбои не разобраны, новый код не уходит в прод. Теперь первичный разбор делает ИИ-агент. Его собрали за пять дней: от постановки задачи до работы на тестовом стенде (staging), а в боевую среду он попал через несколько недель. Результат в цифрах: вердикты агента совпадают с вердиктами инженеров в 68% случаев (при запуске было 44%), а время, которое выкладка простаивает из-за разбора сбоев, сократилось на 20%.

Что делает агент

Агент запускается как шаг в уже существующем конвейере сборки и выкладки (CI/CD) на Argo Workflows в Amazon EKS. Когда ночной набор Playwright-тестов из сотен кейсов выдаёт сбои, конвейер поднимает под с агентом. Дальше он делает четыре вещи:

  • отправляет каждый сбой в модель Claude Opus 4.8 через Amazon Bedrock и получает одну из четырёх причин: проблема инфраструктуры, баг в коде, нестабильный («флаки») тест, проблема окружения;
  • подтягивает из базы знаний похожие сбои из прошлого;
  • через Model Context Protocol (MCP) запрашивает логи подов в CloudWatch как подтверждение вывода;
  • формирует отчёт в JSON и HTML с файлами, функциями и рекомендациями по исправлению.

Всё занимает секунды. Агент ничего не чинит сам: отчёт сначала смотрит инженер. Раньше нужно было вручную пройти путь от отчёта к логам, истории сбоев и исходникам. Теперь этот первый проход делает агент, а человек его проверяет.

Как собирали: AI-DLC и групповые сессии

AI-DLC (AI-Driven Development Lifecycle) — открытая методология AWS. В ней ИИ составляет планы, пишет код и предлагает архитектуру, но на развилках задаёт вопросы, а не гадает. Решения остаются за людьми. Работа идёт групповыми сессиями: сначала все вместе формулируют требования, потом вместе строят, пока ИИ пишет код.

Исходная формулировка была одной фразой: нужна система, которая классифицирует сбои и рекомендует исправления. ИИ задал больше 20 уточняющих вопросов. На выходе получились документ с требованиями, где граница первой фазы отделена от второй, и четыре блока работ: база знаний, сам агент, интеграция с Argo и набор для оценки качества. Автоматические pull request отложили на потом.

В ходе работы случились два архитектурных разворота. Агента сначала хотели разместить в Amazon Bedrock AgentCore, но перенесли в EKS, где уже живёт Argo. Новую среду поддерживать не пришлось, а запуск идёт прямо из пайплайна. Логи сначала брали из стороннего сервиса, затем перешли на CloudWatch. Схема работы через MCP осталась прежней, поменялся только источник. Поскольку требования и решения лежали в общих документах, их просто обновили на месте.

Глубина проработки зависела от сложности блока. База знаний на Terraform поднялась за часы. Агент получил полный набор: ревью архитектуры, интерфейсные контракты, 12 вопросов по дизайну и итеративное ревью кода. Он написан на Strands SDK и умеет разбирать несколько сбоев параллельно. На пятый день команда собрала PyTest-фреймворк оценки с живым и «заглушечным» режимами и показала CTO, как агент правильно классифицирует и сбой инфраструктуры, и настоящий баг с рекомендацией по конкретному файлу.

Результаты и ограничения

Цифры скромные и честные. Совпадение с человеческой классификацией выросло с 44% до 68%, и команда продолжает улучшать эталонный набор примеров и промпты. Примерно каждый третий вердикт всё ещё расходится с мнением инженера, поэтому человек остаётся в контуре. Сокращение простоя на 20% видно прямо в скорости релизов: именно эти тесты открывают дорогу в прод.

Для практиков здесь три урока. Первый: начинайте с рутины, которая стоит дорого и имеет чёткий критерий успеха, например с первичной сортировки сбоев. Второй: оценочный набор стоит строить с первого дня. Благодаря ему у Rescale есть базовая линия в 44% и видно, куда движется качество. Третий: ценность AI-DLC не в самом коде, а в проверенной спецификации. Агенту проще писать код под уже согласованные решения, чем одновременно придумывать архитектуру.

Rescale теперь рассматривает внутренний центр компетенций по AI-DLC и включает методологию в разработку новых симуляционных продуктов. Её применяют, в частности, для каталога HPC-приложений, отслеживания уязвимостей в контейнерах и облачных кодинг-агентов. Оговорка: это партнёрский текст AWS, независимой проверки цифр нет.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что делает агент?

Агент запускается как шаг в уже существующем конвейере сборки и выкладки (CI/CD) на Argo Workflows в Amazon EKS. Когда ночной набор Playwright-тестов из сотен кейсов выдаёт сбои, конвейер поднимает под с агентом. Дальше он делает четыре вещи: отправляет каждый сбой в модель Claude Opus 4.8 через Amazon Bedrock и получает одну из четырёх причин: проблема инфраструктуры, баг в коде, нестабильный («флаки») тест, проблема окружения; подтягивает из базы знаний похожие сбои из прошлого; через Model…

Что известно по теме: как собирали: AI-DLC и групповые сессии?

AI-DLC (AI-Driven Development Lifecycle) — открытая методология AWS. В ней ИИ составляет планы, пишет код и предлагает архитектуру, но на развилках задаёт вопросы, а не гадает. Решения остаются за людьми. Работа идёт групповыми сессиями: сначала все вместе формулируют требования, потом вместе строят, пока ИИ пишет код. Исходная формулировка была одной фразой: нужна система, которая классифицирует сбои и рекомендует исправления. ИИ задал больше 20 уточняющих вопросов.

Что известно по теме: результаты и ограничения?

Цифры скромные и честные. Совпадение с человеческой классификацией выросло с 44% до 68%, и команда продолжает улучшать эталонный набор примеров и промпты. Примерно каждый третий вердикт всё ещё расходится с мнением инженера, поэтому человек остаётся в контуре. Сокращение простоя на 20% видно прямо в скорости релизов: именно эти тесты открывают дорогу в прод. Для практиков здесь три урока. Первый: начинайте с рутины, которая стоит дорого и имеет чёткий критерий успеха, например с первичной сортировки сбоев.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…