Una red neuronal para probar el navegador en lugar de Playwright: precisión del 99.7%

Un desarrollador describió en Habr cómo sustituyó parte de sus pruebas E2E de Playwright por un diminuto piloto automático basado en una red neuronal, con 49 000 parámetros y TypeScript puro sin dependencias de ONNX, y pasó por cinco iteraciones desde una precisión del 67% hasta el 99.7% en el modelo final.

Lo que las pruebas clásicas no pueden comprobar

Playwright, Selenium y herramientas similares detectan bien los errores de interfaz: se pulsó un botón, se envió un formulario, se cerró una ventana modal. Pero tienen un techo insalvable: no pueden evaluar la eficacia estratégica de las mecánicas del juego.

Para un juego de estrategia en navegador, este es el gran punto ciego. La pregunta central del desarrollo es: «¿No le conviene más al jugador dejar su capital inicial en un depósito y esperar, en lugar de hacer algo en el juego?». Ningún escenario de Playwright jugará miles de partidas con distintas estrategias, calculará la rentabilidad final de cada una y la comparará con la espera pasiva. Ahí encuentra su nicho un agente entrenable.

Cómo funciona el piloto automático

El piloto automático recibe una instantánea del estado actual del juego, un conjunto de rasgos numéricos como recursos, posiciones de la flota y marcas de tiempo, y devuelve la siguiente acción: pulsar un botón, esperar un evento, cambiar de modo. Parámetros clave de la implementación:

• 49 000 parámetros: el modelo ocupa unos pocos megabytes y no necesita GPU
• TypeScript puro: sin runtime de ONNX, biblioteca nativa en C ni entorno de Python
• Se ejecuta directamente en el navegador: el agente vive en el mismo proceso que el juego
• Métrica de calidad: la eficacia final de la estrategia frente al «depósito» pasivo

Un agente así puede ejecutarse en modo acelerado, jugar miles de partidas en una noche y registrar automáticamente la degradación del equilibrio con cada cambio en la lógica del juego.

Cinco iteraciones: del 67% a congelarse con un 99.7%

El primer techo llegó con un 67% de precisión: el modelo sobreajustó a las acciones más frecuentes e ignoró las jugadas raras pero críticas, un síntoma clásico de muestra desequilibrada.

Tras rehacer el conjunto de datos y ponderar las clases, la precisión subió. Pero cuando la métrica alcanzó el 99.7%, ocurrió algo inesperado: la red se quedó completamente quieta y dejó de tomar decisiones, y aun así mostraba una precisión casi perfecta. «No hacer nada» resultó ser la estrategia estadísticamente correcta según cómo se habían codificado las etiquetas objetivo. Hizo falta ajustar más la función de pérdida e imponer diversidad de acciones en el conjunto de entrenamiento.

«Las pruebas unitarias, de integración y E2E de

Playwright detectan errores en la interfaz, pero son impotentes ante la pregunta: ¿no sale más a cuenta dejar el capital inicial en un depósito y esperar?», explica el autor la motivación del proyecto.

Qué significa

El experimento señala un nicho real que los marcos de pruebas clásicos no cubren: las pruebas de comportamiento de sistemas con dependencias a largo plazo. Los micromodelos en TypeScript sin dependencias externas son una alternativa práctica a los escenarios manuales cuando lo importante no es comprobar si «funciona el botón», sino si «el sistema se comporta correctamente en miles de partidas». Es relevante para juegos de navegador, simuladores de trading y cualquier producto cuyas mecánicas determinen el comportamiento estratégico del usuario.

¿En qué es mejor una red neuronal que las pruebas clásicas de

Playwright? Las pruebas clásicas detectan errores de interfaz (se pulsó un botón, se cerró un formulario), pero no pueden evaluar la eficacia estratégica de las mecánicas del juego. Una red neuronal sí puede hacerlo.

¿Qué precisión alcanza una red neuronal en pruebas de navegador?

Según los resultados del desarrollador, la red neuronal alcanzó una precisión del 99.7% con 49 000 parámetros tras cinco iteraciones de entrenamiento.