Opper lance Jevman : des modèles de langage jouent à Pac-Man, 100 parties chacun

La startup Opper a mis en accès libre le benchmark Jevman, dans lequel six modèles à faible latence jouent à Pac-Man contre des bots fantômes. Chaque modèle a disputé 100 parties, les résultats figurent dans un classement public, et le dépôt GitHub permet d'ajouter son propre modèle au classement. Une partie coûte environ 2 cents à un joueur humain. Le projet est apparu sur Hacker News, dans la rubrique Show HN, où il avait recueilli 52 points et 10 commentaires au moment de la publication.

Ce qui a été testé, et comment

Les auteurs expliquent l'expérience par deux nouveautés récentes. OpenAI a lancé son decisions endpoint, et Cloudflare avait sorti clef une semaine plus tôt. Le marché compte aussi bien d'autres modèles alternatifs pour la prise de décision rapide, et les auteurs voulaient les comparer sur une même tâche. Pac-Man s'est imposé comme benchmark de décision simple et rapide : il faut choisir son coup immédiatement, et le jeu ne s'arrête pas pour laisser le temps de réfléchir.

Le classement compte les modèles suivants :

• jev 1.13
• kev
• clef
• clef flash
• GPT-6 Luna
• Laya

Paramètres du test, tels que décrits dans le projet :

• 100 parties pour chaque modèle
• adversaires : des bots fantômes
• mode : temps réel, rendu possible par la faible latence des modèles
• résultats : classement public
• code : dépôt ouvert opper-ai/jevman-benchmark
• coût d'une partie pour un humain : environ 2 cents

Le billet ne contient aucun résultat chiffré : les places et les scores moyens ne sont publiés que dans le classement. Les auteurs mentionnent seulement qu'il est étonnamment difficile de battre le record de jev.

Pourquoi un jeu plutôt qu'un test de plus

Les benchmarks statiques mesurent la qualité d'une réponse. Ici, l'enjeu est ailleurs : le modèle reçoit l'état du plateau, choisit vite une action et en voit immédiatement les conséquences. Une erreur coûte une vie, et une réponse lente signifie que Pac-Man n'est déjà plus là où il faudrait. Pour des modèles vendus comme des décideurs rapides en temps réel, ce type d'épreuve est plus proche de l'usage que de longs tests de raisonnement. C'est notre interprétation : les auteurs sont plus modestes et disent simplement que le jeu constitue un bon test simple.

L'approche a des limites évidentes. Les adversaires sont des bots scriptés, et non d'autres modèles, et le classement final dépend de leur comportement. Cent parties par modèle donnent un échantillon correct, mais l'écart entre des participants proches, par exemple clef et clef flash, peut se situer dans la marge d'erreur statistique. Mieux vaut lire la méthodologie dans le dépôt que se fier au seul classement.

Il faut aussi garder en tête l'intérêt de l'auteur. Tous les modèles sont lancés via Opper, la startup de l'auteur du billet. C'est une plateforme d'agrégation, et elle organise en même temps la comparaison. Le code ouvert lève en partie ce doute, puisque les résultats peuvent être revérifiés.

Comment essayer soi-même

Le projet propose deux points d'entrée. Le premier s'adresse aux développeurs : le fichier CONTRIBUTING contient une section « Benchmark your own model », qui explique comment lancer son modèle et l'inscrire au classement. Le second est destiné à tous les autres : on peut s'installer soi-même aux commandes de Pac-Man et confier le rôle des fantômes à des modèles. On peut les mélanger ou confier le rôle à toute une famille de modèles, qu'il s'agisse de jev, de kev ou de clef. Des crédits gratuits sont offerts aux nouveaux utilisateurs.

Conclusion pratique pour ceux qui choisissent un modèle pour des agents ou des scénarios de jeu : faites d'abord passer le candidat par ce benchmark et comparez-le au classement. Mesurez ensuite la latence réelle et le prix d'une requête sur votre propre charge. Avec une partie à 2 cents, l'opération ne coûte presque rien. Et si votre modèle ne figure pas dans la liste, ajoutez-le au dépôt et vérifiez s'il tient le rythme face à jev, dont le record, selon les auteurs, n'est pas facile à battre.