Beeline Cloud a réuni des benchmarks AI insolites : des escape rooms à jouer à être "humain"

Les benchmarks classiques pour LLM mesurent souvent la connaissance factuelle et la capacité à résoudre des tâches selon un modèle, mais ils expliquent de moins en moins comment un modèle se comporte dans des conditions réelles. C'est pourquoi les chercheurs et les entreprises inventent de plus en plus souvent des tests étranges, presque ludiques : de l'évasion d'une salle d'énigmes à la tentative de jouer de façon convaincante un humain parmi d'autres bots.

Quêtes et Pièges

L'un des exemples les plus illustratifs est le benchmark de l'ingénieur Jaemin Ha. Dans celui-ci, les modèles se retrouvent dans une version textuelle d'une salle d'énigmes : ils reçoivent une description de l'espace, des objets disponibles et une tâche à résoudre en tenant compte des contraintes du monde physique. Par exemple, extraire une balle de ping-pong d'un tube étroit ou retirer un pot contenant un mot de passe d'une ouverture serrée.

Ce format ne frappe pas les connaissances encyclopédiques, mais la capacité à considérer le contexte, les propriétés des objets et la séquence des actions. Le point est aussi qu'à côté des choses utiles se trouvent des éléments qui distraient. Le modèle ne doit pas seulement proposer un raisonnement élégant, mais séparer un outil fonctionnel des ordures.

Dans les tests, GPT-4 et Claude 3.5 Haiku comprenaient parfois l'idée de la solution, mais se perdaient dans les détails : ils essayaient d'utiliser une règle inutile, séquençaient mal les étapes ou ajoutaient des actions superflues. C'est un bon exemple de la façon dont les LLM trébuchent non pas sur la logique en général, mais sur la logique appliquée.

Attaques et Conception

Un autre vecteur est la sécurité. Le benchmark SCAM de 1Password ne demande pas au modèle si un e-mail ressemble à du phishing, mais simule une charge de travail réelle : des e-mails entrants, des liens suspects, de fausses pages de connexion et de l'ingénierie sociale. Dans un exemple illustratif, Gemini 2.5 Flash divulgue un mot de passe à un faux site en dix secondes. Pour les auteurs, cela compte plus que toute métrique académique : un agent ne doit pas seulement classifier une menace, mais ne pas s'y laisser prendre en action.

• raisonnement physique dans un espace limité
• résistance à l'hameçonnage et aux injections de prompts
• qualité des interfaces et expérience utilisateur résultante
• comportement du modèle dans un groupe où il doit sembler humain

SCAM inclut 30 scénarios issus de neuf catégories de menaces, et les leaders du classement de février, Claude Opus 4.6 et GPT-5.2, ont reconnu les situations dangereuses avec 92% et 81% de probabilité. Après renforcement avec un prompt système, les scores sont montés à 98% et 97%.

À côté de cela existe un type complètement différent de test—Design Arena, où les modèles rivalisent pour créer des interfaces, des jeux et des visualisations, et les gagnants sont choisis à l'aveugle par des humains selon un système de notation Elo. Ici, ce n'est pas une unique bonne réponse qui est testée, mais la qualité du produit fini. Cette approche fonctionne bien là où les métriques formelles échouent.

Dans un tournoi, on a demandé aux modèles de créer un jeu de tir d'aliens pour navigateur : une version ne s'exécutait pas, une autre a produit un jeu complet avec progression de difficulté et améliorations. Plus tard, les chercheurs ont utilisé la plateforme pour vérifier les résultats de leur propre benchmark OpenDesign par rapport aux évaluations communautaires et ont obtenu une concordance d'environ 60–80%. Ce n'est pas une précision parfaite, mais un étalonnage utile pour les tâches où le goût et la commodité ne peuvent pas être réduits à un seul nombre.

Se Faire Passer pour Humain

Il existe aussi des formats complètement expérimentaux. Dans un jeu social, vingt-et-un modèles de langage se sont succédé en essayant de deviner qui parmi les participants était humain, bien qu'en réalité il n'y ait absolument aucune personne vivante dans la salle. Chaque session était composée de six modèles sélectionnés aléatoirement, et les gagnants étaient les deux derniers qui n'avaient pas été éliminés par vote. Le résultat n'était pas un benchmark typique de connaissances, mais un test d'adaptation sociale, de style de communication et de capacité à ne pas trahir sa nature de machine.

Chaque système IA a essayé de prouver que c'était lui la créature de

chair et de sang.

Claude Sonnet 4.5 s'est le mieux comporté dans ce tournoi bizarre : elle a gagné dans 53% des rounds. Ensuite Gemini 2.0 Flash avec 49,2%, et Claude 3 Haiku s'est retrouvée en bas du tableau avec 6,7%. Les chercheurs ont même demandé à Gemini 2.5 Pro d'analyser les réponses des adversaires et de suggérer comment se déguiser plus efficacement en humain. Le conseil a fonctionné pour certains : GPT-4o a enregistré des gains notables, gagnant environ 12% plus souvent, tandis que les résultats de Claude 3 Haiku ont décliné. La conclusion est inconfortable pour l'industrie : un modèle peut sonner convaincant mais se comporter de manière non naturelle dans le dialogue en direct.

Ce Que Cela Signifie

Les benchmarks inhabituels sont utiles car ils testent les LLM là où les tests classiques gardent le silence : dans des environnements avec des contraintes physiques, des menaces, une évaluation subjective et une pression sociale. Mais ils ne sont pas non plus sans défaut : les ensembles de tâches eux-mêmes ont parfois des formulations ambiguës et des réponses discutables. C'est pourquoi le meilleur scénario n'est pas de trouver un test unique et définitif, mais de rassembler un ensemble de vérifications spécifiques au produit et d'observer le comportement du modèle dans plusieurs modes à la fois.