Агент Momentic нашёл 269 ошибок за час — втрое больше Codex

Автотесты хорошо ловят то, о чём команда уже догадалась. Если разработчик написал сценарий «открыть корзину, нажать оплату, увидеть подтверждение», система исправно повторит именно его. Но она не попробует дважды нажать кнопку, вернуться назад посреди оплаты или открыть форму на узком экране — пока кто-нибудь явно не добавит такие шаги.

Стартап Momentic предлагает другой подход. Его QA-агент Mo получает доступ к работающему приложению и ведёт себя как настойчивый пользователь: осматривает экраны, строит карту доступных действий, запускает параллельные проверки и оформляет найденные проблемы. Исходный код ему при этом не нужен.

На опубликованном компанией бенчмарке Mo за 60 минут нашёл 269 подтверждённых ошибок. Codex с Playwright MCP обнаружил 86, Claude Code — 59, Devin — 27. Звучит внушительно, но главный вывод здесь не «один агент победил остальные». Интереснее другое: тестирование постепенно отделяется от заранее написанных сценариев и превращается в самостоятельное исследование продукта.

Как агент ищет то, чего нет в тест-кейсе

Представим сервис доставки. После очередного обновления обычные тесты проверили вход, поиск ресторана и оформление заказа. Всё зелёное. Однако при возврате из платёжного окна выбранный адрес внезапно сбрасывается. Команда не предусмотрела этот маршрут, поэтому теста на него нет.

Mo сначала составляет граф приложения: какие экраны доступны и какими действиями они связаны. Большие участки он распределяет между отдельными агентами. Один исследует авторизацию, другой — корзину, третий — оплату. Специализированные компоненты анализируют изображение экрана, находят нужные элементы интерфейса и следят за изменением состояния.

Чтобы параллельные проверки не портили данные друг другу, агенты резервируют общие ресурсы. Несколько процессов могут одновременно читать один объект, но изменять его разрешено только одному. Это важно для сценариев с общей учётной записью, заказами и тестовыми записями в базе.

Такой подход не требует жёстко прописывать XPath, текст кнопки или конкретный aria-атрибут для каждого действия. Агент получает цель на обычном языке и сам ищет способ её выполнить. При изменении вёрстки это потенциально делает проверки менее хрупкими, хотя полностью проблему нестабильных тестов не устраняет.

Цифры выглядят сильно, но это бенчмарк продавца

В набор вошли 1396 размеченных ошибок в четырёх открытых приложениях: Gitea, Metabase, Twenty и Saleor. За час Mo показал полноту 19,3% при точности 84%. У Codex полнота составила 6,2%, зато точность оказалась немного выше — 86%.

Иными словами, Mo нашёл значительно больше известных дефектов, но среди его сообщений было чуть больше ложных тревог. Есть и ценовая развилка: одна подтверждённая ошибка обошлась в $2,67 у Mo против $0,80 у Codex. Для широкой разведки продукта Mo по этим данным эффективнее, а для ограниченного бюджета Codex выглядит экономнее.

Относиться к результатам стоит осторожно. Бенчмарк, набор условий и систему оценки подготовила Momentic. Первичную проверку выполняла языковая модель, после чего результаты просматривал человек. Компания открыла датасет и тестовый стенд, поэтому эксперимент можно повторить, но приведённые цифры пока не заменяют независимого сравнения на собственном продукте.

Что делать команде сейчас

Не нужно выбрасывать Playwright или Selenium. Сценарные тесты по-прежнему полезны для критических и предсказуемых маршрутов: входа, оплаты, выдачи прав, сохранения данных. Агентное исследование разумнее поставить вторым слоем — для поиска неизвестных проблем.

Практический пилот выглядит просто: запускать агента на превью каждого крупного pull request, ограничить ему время и бюджет, а найденные дефекты подтверждать вручную. Затем сравнить, сколько уникальных ошибок он обнаружил, сколько сообщений оказались ложными и сколько часов ручного QA удалось сэкономить.

Если агент стабильно находит сбои, которые не замечают существующие тесты, его можно включить в релизный процесс. Если он лишь повторяет уже известные проверки и создаёт шум, красивые цифры чужого бенчмарка ничего вашей команде не дают.