QA-инженер сократил разработку автотестов с 2 недель до 2 дней с помощью LLM
Автотесты для скрипта с десятками флагов вручную писать долго, и опасную комбинацию легко пропустить. QA-инженер «Т1 Иннотех» отдал LLM справку скрипта синхронизации DAG в Airflow, матрицу конфликтов и логи сбоев и получил каркас автотестов. Разработка набора ужалась с 2 недель до 2 дней, покрытие выросло с 60% до 95%, сценариев стало 600 вместо 200. Условие: сначала вычистить противоречия во входных данных.
AI-обработка оригинала Habr AI; редакция Hamidun News
Генерировать тесты с помощью LLM уже никого не удивляет. Гораздо интереснее, как это выглядит на реальной задаче с неидеальной документацией. Роман Поляков, инженер по тестированию в «Т1 Иннотех», описал на Habr свой кейс: автотесты для скрипта синхронизации DAG в Airflow. Он сделал их за два дня вместо двух недель. Ниже — что именно он делал и где подход ломается.
Задача: комбинации флагов, которые легко пропустить
Скрипт принимает набор ключей: --file, --delete, --dry-run, --exclude и другие. Часть сочетаний допустима, часть конфликтует. Например, --file с --delete или --dry-run с --exclude нужно проверять отдельно. Вручную закодировать все комбинации долго, и велик риск пропустить опасную связку.
Сложность была не только в количестве комбинаций. Документация противоречила сама себе. В одном разделе маска *.py для --exclude разрешена, в другом допустимы только абсолютные пути. Примеры команд в руководстве не совпадали с описанием, а в логах остались сообщения об ошибках, уже исправленные в свежей версии Airflow.
Как автор работал с моделью
Первый шаг оказался самым неавтоматизированным. Поляков вручную «почистил» данные: выделил канонические правила, выкинул устаревшие примеры и собрал единый справочник флагов. По его словам, без этого модель генерировала бы такие же противоречивые сценарии, как и исходные материалы.
Дальше он собрал запрос из четырёх частей: текст справки скрипта, матрица конфликтов, примеры команд и логи неудачных запусков. Формат вывода задал сразу: JSON, совместимый с CI/CD. Модели назначил роль старшего эксперта, который знает все «запретные связки» флагов, и попросил покрыть каждую допустимую комбинацию и каждую опасную. Короткий запрос вроде «сгенерируй тесты для скрипта» давал, по наблюдению автора, более поверхностный результат: модель упускала граничные случаи.
Модель вернула каркас: позитивные сценарии (--file с --dry-run как безопасный пробный запуск), негативные (конфликтующие ключи), граничные (пустые пути, несуществующие расширения в --exclude) и заглушки для проверки журнала deploy.log.
Готовым это назвать нельзя. Автор доработал скрипт руками:
- добавил разбор логов, чтобы проверять не только коды возврата, но и сообщения в
deploy.log; - имитировал сетевые сбои утилитой
tc: ограничение пропускной способности и потеря пакетов; - объединил похожие позитивные сценарии, чтобы не раздувать время прогона;
- написал конвертер, потому что «плоский» JSON от модели не подходил Jenkins, и построил из него дерево с метриками
success_rate,total_time,failed_scenarios.
Процесс шёл циклами: запрос, каркас, анализ, доработка, прогон, разбор логов, правка промпта. Каждый круг сокращал ручной труд, но требовал времени на проверку.
Что получилось и как к этому относиться
Автор приводит такие результаты:
- разработка тестов: с 2 недель до 2 дней;
- покрытие сценариев: с 60% до 95%, с учётом граничных и экстремальных случаев;
- число сценариев: 600 против 200 при ручной работе, при той же длительности прогона;
- время на разбор отчётов: меньше на 30%;
- в проде после внедрения не было сбоев.
В статье есть и другие примеры. По странице «Контрагент» модель за пять минут выдала 80 сценариев, команда доработала 15%. Для банковского ТЗ на 150 страниц автор называет 120 сценариев вместо 20 ручных и более быстрый старт тестирования на 30–40%.
Цифры нужно читать осторожно. Это один проект и самоотчёт автора, а не контролируемое сравнение. Какая модель использовалась, сколько токенов и денег ушло на итерации, в тексте не указано. Вывод «ни одного сбоя в проде» нельзя целиком приписать ИИ: на него влияют и другие изменения. Остальные разделы статьи, например про адаптивное тестирование и приоритизацию, по признанию автора, основаны на опыте коллег и демонстрациях инструментов, а не на его внедрении.
Практические выводы
Первое: качество входных данных важнее хитрости промпта. Противоречивая документация даёт противоречивые тесты, поэтому её нужно сначала свести к одному справочнику.
Второе: роль и цель в запросе работают. Постановка «найди запретные связки и не сломай конвейер» заставила модель искать негативные и граничные случаи, а не повторять примеры из справки.
Третье: сразу просите формат вывода, который понимает ваш CI. Но запланируйте время на конвертер: структура ответа модели редко совпадает с ожиданиями Jenkins или другой системы.
Четвёртое — ограничения, о которых пишет сам автор. Документацию длиннее 50–100 страниц лучше резать на блоки или подключать RAG, иначе модель теряет середину текста. Для чувствительных логов стоит брать локальные модели. Результат модели остаётся черновиком: 10–20% сценариев всё равно придётся дорабатывать человеку.
- 27 окт. 2026 г.Rescale за 5 дней сделала ИИ-агента для упавших тестов: ожидание выкладки короче на 20%
- 6 нояб. 2026 г.Claude сократил выделение белковых частиц vault с 3 дней до 90 минут
- 19 июл. 2026 г.Генерация автотестов и локаторов нейросетью на legacy-проекте: практический опыт
- 22 окт. 2026 г.Anthropic открыла набор учёных в life sciences: 8–12 недель с Claude бесплатно
Вопросы и ответы по материалу
Что известно по теме: задача: комбинации флагов, которые легко пропустить?
Скрипт принимает набор ключей: --file, --delete, --dry-run, --exclude и другие. Часть сочетаний допустима, часть конфликтует. Например, --file с --delete или --dry-run с --exclude нужно проверять отдельно. Вручную закодировать все комбинации долго, и велик риск пропустить опасную связку. Сложность была не только в количестве комбинаций. Документация противоречила сама себе. В одном разделе маска .py для --exclude разрешена, в другом допустимы только абсолютные пути.
Что известно по теме: как автор работал с моделью?
Первый шаг оказался самым неавтоматизированным. Поляков вручную «почистил» данные: выделил канонические правила, выкинул устаревшие примеры и собрал единый справочник флагов. По его словам, без этого модель генерировала бы такие же противоречивые сценарии, как и исходные материалы. Дальше он собрал запрос из четырёх частей: текст справки скрипта, матрица конфликтов, примеры команд и логи неудачных запусков. Формат вывода задал сразу: JSON, совместимый с CI/CD.
Что известно по теме: что получилось и как к этому относиться?
Автор приводит такие результаты: разработка тестов: с 2 недель до 2 дней; покрытие сценариев: с 60% до 95%, с учётом граничных и экстремальных случаев; число сценариев: 600 против 200 при ручной работе, при той же длительности прогона; время на разбор отчётов: меньше на 30%; в проде после внедрения не было сбоев. В статье есть и другие примеры. По странице «Контрагент» модель за пять минут выдала 80 сценариев, команда доработала 15%.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.