Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИндустрияКод / SDK · В работуX: @hungryturbo→ оригинал

Как тестировать интерфейсы с ИИ-агентом: 5 правил от создателей e2e с 13,8 тыс. звёзд

Обычные UI-тесты рассыпаются после любой переделки интерфейса: сменили компонент, и test-id не находится. Создатели open-source фреймворка e2e (13,8 тыс. звёзд на GitHub, $8 млн инвестиций) предлагают писать тест как цель на обычном языке, а кнопки пусть ищет агент. Итог проверяет отдельный ИИ-судья по данным из API, а не по отчёту самого агента. Так «зелёный» тест реально что-то значит.

AI-обработка оригинала X: @hungryturbo; редакция Hamidun News
Как тестировать интерфейсы с ИИ-агентом: 5 правил от создателей e2e с 13,8 тыс. звёзд
Источник: X: @hungryturbo. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @hungryturbo ↗
Главный редактор
Ключевой факт #1Вместо фиксированного sleep — ожидание бизнес-состояния с лимитом по времени
Ключевой факт #2Каждый тест сам создаёт данные через API и убирает их после запуска
Ключевой факт #3При падении сохраняются шаги, логи и скриншот — их можно отдать ИИ для починки

Сквозные тесты интерфейса почти у всех команд превращаются в источник боли. Фронтенд переехал на другую библиотеку компонентов, поменялись идентификаторы, и половина набора красная, хотя продукт работает. Теперь, когда за кнопки может отвечать ИИ-агент, вопрос в том, как построить такие тесты, чтобы они не стали ещё менее надёжными. Свои ответы опубликовал технический евангелист Kacper Kapuściak из команды открытого AI-фреймворка для тестирования e2e. Проект набрал 13,8 тысячи звёзд на GitHub и недавно получил $8 млн инвестиций. Ниже — пять принципов из его инженерного разбора в пересказе автора X-поста @hungryturbo.

Тестируйте намерение, а не вёрстку

Первый принцип — отказаться от привязки к узлам DOM и test-id. Вместо цепочки «найти элемент, кликнуть, ввести значение» агенту ставят короткую конкретную бизнес-задачу на естественном языке. Например: «сформировать отчёт за прошлый месяц». Как выбрать дату и где нажать «Сформировать», агент решает сам, глядя на экран. Бытовая аналогия: вы просите коллегу заказать такси, а не диктуете, в какой точке экрана тапать. Если команда заменит компонентную библиотеку, тест продолжит работать, потому что цель не изменилась.

Второй принцип касается ожиданий. Фиксированные паузы вроде sleep на пять секунд замедляют CI и всё равно иногда не успевают. Автор советует динамическое ожидание с верхним лимитом времени, причём ждать нужно сильный бизнес-сигнал, например «отчёт за прошлый месяц открыт и доступен для просмотра». Исчезновение индикатора загрузки — слабый признак: спиннер пропал, а данных может ещё не быть. Ожидание асинхронной загрузки при этом стоит отделять от мгновенной проверки текущего кадра: первое отвечает на вопрос «когда готово», второе — «что на экране прямо сейчас».

Кто проверяет агента

Третий пункт, пожалуй, самый важный. Сообщение агента «клик выполнен» не доказывает, что в отчёте нет пустых строк или чужих данных. Но и просить другую модель «на глаз» определить, как должен выглядеть правильный экран, нельзя: она будет угадывать. Поэтому сначала из бэкенда по API берётся настоящий список задач или записей — единственный источник истины. Затем отдельный ИИ-судья сравнивает то, что нарисовано на экране, с этим эталоном. Исполнитель и проверяющий разделены, как разработчик и ревьюер.

Четвёртый принцип знаком всем, кто чинил «флакающие» тесты: никакой зависимости от порядка запуска. Перед тестом переиспользуемая фикстура через API создаёт отдельное рабочее пространство и нужные данные, а после прогона хук жизненного цикла всё очищает. В таком случае повторный запуск после сбоя или параллельное выполнение дают один и тот же результат.

Мелкие тесты и трасса для починки

Пятый принцип — дробить длинные сценарии. Вместо одного теста «сформировать отчёт, скачать CSV и отправить письмо» лучше сделать три отдельных атомарных теста с понятными названиями. Тогда по имени упавшего теста сразу видно, что сломалось.

При падении фреймворк автоматически собирает трассу: предыдущие шаги, логи приложения, контекст рассуждений агента и скриншоты. Человек быстро находит причину, а ту же трассу можно передать кодинг-агенту, чтобы он попробовал исправить ошибку сам. Получается готовый вход для автоматического цикла «упало — починили».

Что стоит учесть

Исходный материал — краткий пересказ в соцсети, поэтому в нём нет цифр о стабильности, стоимости прогонов или скорости по сравнению с Playwright и Cypress. ИИ-агент добавляет расход токенов и время на каждый шаг, а ИИ-судья сам может ошибаться, хотя эталон из API сильно снижает риск. Стоит также помнить, что принципы про изоляцию данных, явные ожидания и мелкие тесты полезны и без ИИ.

Практический вывод для команд: если вы пробуете агентные E2E-тесты, начните с двух вещей — формулируйте цели на языке бизнеса и проверяйте результат по данным бэкенда, а не по словам агента. Всё остальное, от фикстур до трассировки, поможет сделать такой набор тестов повторяемым и пригодным для CI.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: тестируйте намерение, а не вёрстку?

Первый принцип — отказаться от привязки к узлам DOM и test-id. Вместо цепочки «найти элемент, кликнуть, ввести значение» агенту ставят короткую конкретную бизнес-задачу на естественном языке. Например: «сформировать отчёт за прошлый месяц». Как выбрать дату и где нажать «Сформировать», агент решает сам, глядя на экран. Бытовая аналогия: вы просите коллегу заказать такси, а не диктуете, в какой точке экрана тапать. Если команда заменит компонентную библиотеку, тест продолжит работать, потому что цель не изменилась.

Что известно по теме: кто проверяет агента?

Третий пункт, пожалуй, самый важный. Сообщение агента «клик выполнен» не доказывает, что в отчёте нет пустых строк или чужих данных. Но и просить другую модель «на глаз» определить, как должен выглядеть правильный экран, нельзя: она будет угадывать. Поэтому сначала из бэкенда по API берётся настоящий список задач или записей — единственный источник истины. Затем отдельный ИИ-судья сравнивает то, что нарисовано на экране, с этим эталоном. Исполнитель и проверяющий разделены, как разработчик и ревьюер.

Что известно по теме: мелкие тесты и трасса для починки?

Пятый принцип — дробить длинные сценарии. Вместо одного теста «сформировать отчёт, скачать CSV и отправить письмо» лучше сделать три отдельных атомарных теста с понятными названиями. Тогда по имени упавшего теста сразу видно, что сломалось. При падении фреймворк автоматически собирает трассу: предыдущие шаги, логи приложения, контекст рассуждений агента и скриншоты. Человек быстро находит причину, а ту же трассу можно передать кодинг-агенту, чтобы он попробовал исправить ошибку сам.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…