Нейросеть для тестирования браузера вместо Playwright: точность 99.7%

Разработчик описал на Хабре, как заменил часть Playwright E2E-тестов крошечной нейросетью-автопилотом — 49 тысяч параметров, чистый TypeScript без зависимостей ONNX — и прошел пять итераций от точности в 67% до 99.7% в финальной модели.

Что принципиально не могут проверить классические тесты

Playwright, Selenium и аналоги хорошо ловят интерфейсные баги: кнопка нажалась, форма ушла, модальное окно закрылось. Но у них есть принципиальный потолок — они не могут оценить стратегическую эффективность игровых механик.

Для браузерной стратегии это ключевое слепое пятно. Центральный вопрос при разработке звучит так: «А не выгоднее ли игроку просто положить стартовый капитал на депозит и ждать — вместо того чтобы вообще что-то делать в игре?» Ни один Playwright-сценарий не сыграет тысячи партий с разными стратегиями, не подсчитает итоговую доходность каждой и не сравнит её с пассивным ожиданием. Именно здесь открывается ниша для обучаемого агента.

Как устроен автопилот

Автопилот принимает снимок текущего игрового состояния — набор числовых признаков: ресурсы, позиции флота, временны́е метки — и выдаёт следующее действие: кликнуть кнопку, дождаться события, переключить режим. Ключевые параметры реализации:

• 49 тысяч параметров — модель умещается в несколько мегабайт, GPU не нужен
• Чистый TypeScript — никакого ONNX-рантайма, нативной C-библиотеки или Python-окружения
• Запуск прямо в браузере — агент живёт в том же процессе, что и игра
• Метрика качества — итоговая эффективность стратегии относительно пассивного «депозита»

Такой агент можно запускать в ускоренном режиме, прогонять тысячи партий за ночь и автоматически фиксировать деградацию баланса при каждом изменении игровой логики.

Пять итераций от 67% до замерзания при 99,7%

Первый потолок встал на 67% точности: модель переобучилась на самых частых действиях и игнорировала редкие, но критически важные ходы — классический симптом несбалансированной выборки.

После переработки набора данных и взвешивания классов точность пошла вверх. Но когда метрика достигла 99,7%, случилось неожиданное: нейросеть полностью замерла и перестала принимать какие-либо решения — и всё равно показывала почти идеальную точность. «Ничего не делать» оказалось статистически верной стратегией при том, как были закодированы целевые метки. Потребовалась дополнительная настройка функции потерь и принудительное разнообразие действий в обучающей выборке.

«Юнит-тесты, интеграционные и

Playwright E2E ловят баги в интерфейсе, но бессильны против вопроса: а не выгоднее ли просто положить стартовый капитал на депозит и ждать?» — объясняет автор мотивацию проекта.

Что это значит

Эксперимент указывает на реальную нишу, которую классические тестовые фреймворки не закрывают: поведенческое тестирование систем с долгосрочными зависимостями. Микромодели на TypeScript без внешних зависимостей — практическая альтернатива ручным сценариям там, где важно проверить не «работает ли кнопка», а «правильно ли ведёт себя система в тысячах партий». Актуально для браузерных игр, торговых симуляторов и любых продуктов, где механики определяют стратегическое поведение пользователя.

Чем нейросеть лучше классических тестов Playwright?

Классические тесты ловят интерфейсные баги (нажалась кнопка, закрылась форма), но не могут оценить стратегическую эффективность игровых механик. Нейросеть может это делать.

Какова точность нейросети для браузерного тестирования?

По результатам разработчика, нейросеть достигла точности 99.7% на 49 тысячах параметров после пяти итераций обучения.