QA-инженеры SpaceWeb поручили ИИ писать автотесты: рабочий скрипт за 50 минут
QA-команда SpaceWeb встроила ИИ в тестирование и посмотрела, где он экономит время, а где выдаёт красивую воду. Агент работает на локальной модели Qwen3.8-27B, чтобы чувствительные данные не уходили наружу. Тест-кейсы и JSON для API получились быстро, а UI-автотест на Pytest и Selenium собрали меньше чем за час. Но селекторы и ожидаемое поведение всё равно правит человек.
AI-обработка оригинала Habr AI; редакция Hamidun News
Каждый QA знает эту арифметику: фич больше, чем рук, релизы горят, а половина дня уходит на однотипные тест-кейсы и «скелеты» автотестов. QA-инженер SpaceWeb Евгения Мясникова вместе с руководителем R&D Виталием Киреевым решила проверить, какую часть этой рутины можно честно отдать LLM, а где она просто генерирует воду, которую потом всё равно переписываешь руками.
Три задачи для ИИ и один важный выбор
Автоматизировать всё сразу команда не пыталась. Взяли три направления: тестовая документация и данные (позитивные, негативные и граничные проверки, тест-планы, чек-листы), скрипты автоматизации и расширение проверок безопасности и API. Принцип простой: ИИ делает черновик, а тестировщик читает, дополняет и отлаживает.
Главный практический выбор касается данных. Из-за чувствительной информации агента подключили к локальной модели Qwen3.8-27B. Для документации и кода использовали внутреннего ассистента, а запускали всё на привычном стеке: Postman, Python, Pytest и Selenium. Если вы работаете с закрытым кодом и внутренними схемами API, внешнее облако для такой работы не обязательно.
На формах это выглядит так. В модель загружают предусловия, требования к обязательности полей и валидации, а на выходе получают таблицу позитивных проверок, затем негативных. Для интеграции с GitHub/GitLab ИИ дополнительно выделил самые критичные сценарии. Для API агенту дали пример валидного JSON для создания VPS и попросили подготовить данные: минимальные и эталонные запросы, граничные значения, кириллические домены, спецсимволы и невалидные случаи вроде создания сервера в несуществующем регионе.
При этом читать результат нужно внимательно. В одном из примеров имя хоста подписано как «ровно 63 символа», но строка заметно длиннее, а в IPv6-адрес затесался пробел. Для граничного теста это может быть и умышленно, но надёжнее сверять такие вещи вручную.
Автотест меньше чем за час
Самый показательный кейс — автоматизация создания почтового ящика в панели хостинга. Промпт расписан по шагам и содержит всё, что знает человек у экрана: Pytest, Selenium, Chrome, авторизацию из conftest.py, точные селекторы, правила для пароля (8–20 символов, буквы, цифры, спецсимволы) и ожидаемый редирект на страницу review. Модель выдала готовый test_mail_add.py с комментариями, явными ожиданиями через WebDriverWait и проверками результата.
Потом задачу усложнили и попросили параметризовать тест под разные имена ящиков. Получилось два теста: test_create_valid_mail_box и test_reject_invalid_mail_box. Позитивные наборы проверяют длину 1 и 64 символа, спецсимволы и цифры. Негативные проверяют заглавные буквы, пробелы, слэш и длину 65. Если один кейс падает, сразу видно, какой сценарий сломался.
По времени: около 30 минут ушло на промпт и поиск селекторов, ещё 20 на отладку. Это не «нажал кнопку и готово», но для рутинного скелета результат хороший.
Ограничения тоже видны в коде. В негативном тесте ИИ не знал, как система реагирует на ошибку, поэтому предложил два варианта: либо фронтенд показывает ошибку, либо форма уходит и редиректа нет. Второй вариант остался закомментированным, и поведение пришлось уточнять человеку. Кроме того, в позитивном тесте для имён без цифр в конце добавляется случайный суффикс. Из-за него кейс «ровно 64 символа» превращается в имя длиннее лимита, то есть граничная проверка фактически ломается. Такие вещи ловит только ревью.
IDOR: старт есть, итогов пока нет
Третий кейс посвящён безопасности API. Нужно было проверить IDOR в методе edit (JSON-RPC): поле service_ref служит прямым идентификатором объекта, и сервер обязан проверять, есть ли у пользователя права на него. Агент сразу предложил базовую проверку: отправить тот же запрос с service_ref другого пользователя. Затем команда попросила написать на Requests скрипт, который перебирает значения из TXT-файла с идентификаторами чужих услуг.
В доступной части публикации текст обрывается на этом шаге, так что итоговых результатов по IDOR здесь нет. Не стоит делать выводов, нашёл ли ИИ реальные уязвимости.
Что взять на практике
- Давайте модели структурированный контекст: предусловия, схему метода, пример валидного JSON, конкретные селекторы. Качество результата зависит от промпта.
- Относитесь к выдаче как к черновику. Проверяйте границы значений, ожидаемое поведение при ошибках и локаторы.
- Для чувствительных данных разворачивайте локальную модель: SpaceWeb показала, что рабочий сценарий возможен и с ней.
- Начинайте с рутины: тест-кейсы, тестовые данные, скелеты UI-тестов. Именно там экономия понятнее всего.
Честный вывод такой: ИИ не заменяет QA-инженера, но забирает у него самую механическую часть. Контроль качества остаётся за человеком, который знает, как система должна себя вести.
- 12 нояб. 2026 г.n8n выпустила Nod — open-source агента, который работает на вашем компьютере
- 12 нояб. 2026 г.Claude Code и Codex режут реверс-инжиниринг: OpenAI банила аккаунты по ошибке
- 12 нояб. 2026 г.MiniMax открыла веса H3-Image: 4K-картинки за 10–16 секунд и 16 референсов
- 12 нояб. 2026 г.Одна RTX 3090 закрывает ИИ-хелпдеск офиса на 40 человек и окупается за 5 месяцев
Вопросы и ответы по материалу
Что известно по теме: три задачи для ИИ и один важный выбор?
Автоматизировать всё сразу команда не пыталась. Взяли три направления: тестовая документация и данные (позитивные, негативные и граничные проверки, тест-планы, чек-листы), скрипты автоматизации и расширение проверок безопасности и API. Принцип простой: ИИ делает черновик, а тестировщик читает, дополняет и отлаживает. Главный практический выбор касается данных. Из-за чувствительной информации агента подключили к локальной модели Qwen3.8-27B.
Что известно по теме: автотест меньше чем за час?
Самый показательный кейс — автоматизация создания почтового ящика в панели хостинга. Промпт расписан по шагам и содержит всё, что знает человек у экрана: Pytest, Selenium, Chrome, авторизацию из conftest.py, точные селекторы, правила для пароля (8–20 символов, буквы, цифры, спецсимволы) и ожидаемый редирект на страницу review. Модель выдала готовый test_mail_add.py с комментариями, явными ожиданиями через WebDriverWait и проверками результата.
Что известно по теме: IDOR: старт есть, итогов пока нет?
Третий кейс посвящён безопасности API. Нужно было проверить IDOR в методе edit (JSON-RPC): поле service_ref служит прямым идентификатором объекта, и сервер обязан проверять, есть ли у пользователя права на него. Агент сразу предложил базовую проверку: отправить тот же запрос с service_ref другого пользователя. Затем команда попросила написать на Requests скрипт, который перебирает значения из TXT-файла с идентификаторами чужих услуг.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.