Una red neuronal de 49 mil parámetros en lugar de pruebas Playwright para un juego de estrategia en navegador

Un desarrollador de una estrategia espacial en navegador describió en Habr cómo reemplazó parte de las pruebas E2E de Playwright con una pequeña red neuronal autopiloto — 49 mil parámetros, TypeScript puro sin dependencias ONNX — y pasó por cinco iteraciones de un techo de precisión del 67% hasta un modelo que se congelaba completamente al 99,7%.

Lo que las pruebas clásicas fundamentalmente no pueden verificar

Playwright, Selenium y análogos son buenos para detectar errores de interfaz: el botón se clickeó, el formulario desapareció, la ventana modal se cerró. Pero tienen un techo fundamental — no pueden evaluar la eficacia estratégica de las mecánicas del juego.

Para una estrategia en navegador, este es un punto ciego clave. La pregunta central al desarrollar suena así: "¿Pero no sería más rentable para el jugador simplemente depositar su capital inicial y esperar — en lugar de hacer cualquier cosa en el juego?" Ningún escenario de Playwright jugará miles de partidas con diferentes estrategias, calculará la rentabilidad final de cada una y la comparará con la espera pasiva. Es exactamente aquí donde se abre un nicho para un agente entrenable.

Cómo funciona el autopiloto

El autopiloto recibe una instantánea del estado actual del juego — un conjunto de características numéricas: recursos, posiciones de la flota, marcas de tiempo — y emite la siguiente acción: hacer clic en un botón, esperar un evento, cambiar de modo. Parámetros clave de la implementación:

• 49 mil parámetros — el modelo cabe en varios megabytes, no se necesita GPU
• TypeScript puro — sin runtime ONNX, biblioteca C nativa ni entorno Python
• Ejecutar directamente en el navegador — el agente vive en el mismo proceso que el juego
• Métrica de calidad — la eficacia final de la estrategia relativa al "depósito" pasivo

Un agente así puede ejecutarse en modo acelerado, realizar miles de partidas durante la noche y detectar automáticamente la degradación del equilibrio con cada cambio en la lógica del juego.

Cinco iteraciones de 67% a congelación al 99,7%

El primer techo se alcanzó al 67% de precisión: el modelo se sobreajustó a las acciones más frecuentes e ignoró movimientos raros pero críticamente importantes — un síntoma clásico de un conjunto de datos desequilibrado.

Después de reelaborar el conjunto de datos y ponderar las clases, la precisión aumentó. Pero cuando la métrica alcanzó 99,7%, sucedió algo inesperado: la red neuronal se congeló completamente y dejó de tomar decisiones — y aún así mostró una precisión casi perfecta. "No hacer nada" resultó ser una estrategia estadísticamente correcta dada la forma en que se codificaron las etiquetas objetivo. Se requirió ajuste adicional de la función de pérdida y diversidad forzada de acciones en el conjunto de entrenamiento.

"Las pruebas unitarias, las pruebas de integración y

Playwright E2E detectan errores en la interfaz, pero son impotentes contra la pregunta: ¿no sería más rentable simplemente depositar el capital inicial y esperar?" — explica el autor la motivación del proyecto.

Lo que esto significa

El experimento señala un nicho real que los marcos de prueba clásicos no cubren: pruebas de comportamiento de sistemas con dependencias a largo plazo. Micromodelos en TypeScript sin dependencias externas — una alternativa práctica para escenarios manuales donde es importante verificar no "¿funciona el botón?", sino "¿se comporta correctamente el sistema en miles de partidas?". Relevante para juegos en navegador, simuladores de trading y cualquier producto donde las mecánicas determinen el comportamiento estratégico del usuario.