Un réseau neuronal de 49 000 paramètres à la place des tests Playwright pour un jeu de stratégie sur navigateur

Un développeur d'une stratégie spatiale en navigateur a décrit sur Habr comment il a remplacé une partie des tests E2E de Playwright par un petit réseau de neurones autopilote — 49 mille paramètres, TypeScript pur sans dépendances ONNX — et a franchi cinq itérations d'un plafond de précision de 67% jusqu'à un modèle qui s'est figé complètement à 99,7%.

Ce que les tests classiques ne peuvent fondamentalement pas vérifier

Playwright, Selenium et les analogues sont bons pour détecter les bugs d'interface : le bouton s'est cliqué, le formulaire a disparu, la fenêtre modale s'est fermée. Mais ils ont un plafond fondamental — ils ne peuvent pas évaluer l'efficacité stratégique des mécaniques du jeu.

Pour une stratégie en navigateur, c'est un point aveugle clé. La question centrale lors du développement est : « Mais ne serait-il pas plus rentable pour le joueur de simplement déposer son capital initial et attendre — plutôt que de faire quoi que ce soit dans le jeu ? » Aucun scénario Playwright ne jouera des milliers de matchs avec différentes stratégies, ne calculera la rentabilité finale de chacune et ne la comparera avec l'attente passive. C'est exactement ici qu'un créneau s'ouvre pour un agent entraînable.

Comment fonctionne l'autopilote

L'autopilote reçoit un instantané de l'état actuel du jeu — un ensemble de caractéristiques numériques : ressources, positions de la flotte, horodatages — et produit l'action suivante : cliquer sur un bouton, attendre un événement, basculer le mode. Paramètres clés de l'implémentation :

• 49 mille paramètres — le modèle tient en quelques mégaoctets, pas de GPU nécessaire
• TypeScript pur — pas de runtime ONNX, de bibliothèque C native ni d'environnement Python
• Exécution directement dans le navigateur — l'agent vit dans le même processus que le jeu
• Métrique de qualité — l'efficacité finale de la stratégie par rapport au « dépôt » passif

Un tel agent peut fonctionner en mode accéléré, exécuter des milliers de matchs toute la nuit et détecter automatiquement la dégradation de l'équilibre à chaque modification de la logique du jeu.

Cinq itérations de 67% à gel à 99,7%

Le premier plafond a été atteint à 67% de précision : le modèle a surappris sur les actions les plus fréquentes et a ignoré les coups rares mais critiquement importants — un symptôme classique d'un ensemble de données déséquilibré.

Après révision de l'ensemble de données et pondération des classes, la précision a augmenté. Mais lorsque la métrique a atteint 99,7%, quelque chose d'inattendu s'est produit : le réseau de neurones s'est figé complètement et a cessé de prendre toute décision — et montrait quand même une précision quasi parfaite. « Ne rien faire » s'est avéré être une stratégie statistiquement correcte étant donné la façon dont les étiquettes cibles étaient codées. Un ajustement supplémentaire de la fonction de perte et une diversité forcée des actions dans l'ensemble d'entraînement ont été nécessaires.

«

Les tests unitaires, les tests d'intégration et Playwright E2E détectent les bugs dans l'interface, mais sont impuissants contre la question : ne serait-il pas plus rentable de simplement déposer le capital initial et attendre ? » — explique l'auteur la motivation du projet.

Ce que cela signifie

L'expérience pointe vers un créneau réel que les cadres de test classiques ne couvrent pas : les tests de comportement des systèmes avec des dépendances à long terme. Les micromodèles en TypeScript sans dépendances externes — une alternative pratique aux scénarios manuels où il est important de vérifier non « le bouton fonctionne-t-il », mais « le système se comporte-t-il correctement dans des milliers de matchs ». Pertinent pour les jeux en navigateur, les simulateurs de trading et tout produit où les mécaniques déterminent le comportement stratégique de l'utilisateur.