Opper lanza Jevman: los modelos de lenguaje juegan 100 partidas de Pac-Man

La startup Opper ha publicado en abierto el benchmark Jevman, en el que seis modelos de baja latencia juegan al Pac-Man contra fantasmas controlados por bots. Cada modelo jugó 100 partidas, los resultados están reunidos en un ranking público y el repositorio de GitHub permite añadir un modelo propio a la clasificación. Una partida para un jugador humano cuesta aproximadamente 2 centavos. El proyecto apareció en Hacker News, en la sección Show HN, y en el momento de la publicación sumaba 52 puntos y 10 comentarios.

Qué se probó y cómo

Los autores citan como motivo del experimento dos novedades recientes. OpenAI lanzó el decisions endpoint y Cloudflare presentó clef una semana antes. Además, el mercado ofrece otros modelos alternativos para decisiones rápidas, y querían compararlos en una misma tarea. Pac-Man les pareció un benchmark de toma de decisiones sencillo y rápido: el movimiento hay que elegirlo al instante, y una pausa para pensar no detiene el juego.

Entraron en el ranking:

• jev 1.13
• kev
• clef
• clef flash
• GPT-6 Luna
• Laya

Parámetros de la prueba, según la descripción del proyecto:

• 100 partidas por modelo
• rivales: fantasmas controlados por bots
• modo: tiempo real, posible gracias a la baja latencia de los modelos
• resultados: ranking público
• código: repositorio abierto opper-ai/jevman-benchmark
• coste de una partida para un humano: unos 2 centavos

El propio post no incluye resultados numéricos: las posiciones y las puntuaciones medias solo se publican en el ranking. Los autores mencionan únicamente que batir el récord de jev es sorprendentemente difícil.

Por qué un juego y no otra prueba más

Los benchmarks estáticos miden la calidad de una respuesta. Aquí importa otra cosa: el modelo recibe el estado del tablero, elige rápido una acción y ve de inmediato las consecuencias. Un error cuesta una vida, y una respuesta lenta significa que Pac-Man ya no está donde debería. Para modelos que se venden como decisores rápidos en tiempo real, esta comprobación se acerca más a la práctica que las pruebas largas de razonamiento. Esta es nuestra interpretación; los autores son más modestos y lo plantean así: el juego es, simplemente, una prueba sencilla y buena.

El enfoque tiene limitaciones evidentes. Los rivales son bots con scripts, no otros modelos, y la clasificación final depende de su comportamiento. Cien partidas por modelo ofrecen una muestra decente, pero la diferencia entre participantes cercanos, por ejemplo clef y clef flash, puede quedar dentro del margen de error estadístico. Conviene leer la metodología en el repositorio y no limitarse al ranking.

Hay que tener en cuenta, además, el interés del autor. Todos los modelos se ejecutan a través de Opper, la startup del autor del post. Es una plataforma agregadora y, a la vez, la organizadora de la comparativa. El código abierto despeja en parte esa duda, porque los resultados se pueden volver a comprobar.

Cómo probarlo por tu cuenta

El proyecto tiene dos puertas de entrada. La primera es para desarrolladores: el archivo CONTRIBUTING incluye una sección «Benchmark your own model», que explica cómo ejecutar un modelo propio y entrar en el ranking. La segunda es para todos los demás: se puede jugar personalmente al Pac-Man y dejar que los modelos hagan de fantasmas. Se pueden mezclar o asignar el papel por completo a una sola familia de modelos, ya sea jev, kev o clef. Para los usuarios nuevos se han añadido créditos gratuitos.

Conclusión práctica para quien elige un modelo para agentes o escenarios de juego: primero pase al candidato por este benchmark y compárelo con el ranking. Después mida la latencia real y el precio por solicitud con su propia carga de trabajo. Con partidas de 2 centavos, hacerlo sale casi gratis. Y si su modelo no figura en la lista, añádalo al repositorio y compruebe si mantiene el ritmo frente a jev, cuyo récord, según los autores, no es fácil de batir.