Les labos d'IA entraînent-ils leurs modèles au test du « pélican à vélo » ? Enquête sur le pelicanmaxxing

Le 22 juillet 2026, le développeur Dylan Castillo a publié une étude qui teste l'hypothèse du « pelicanmaxxing » : les labos d'IA entraînent-ils délibérément leurs modèles à dessiner joliment un pélican à vélo, pour briller au benchmark non scientifique de Simon Willison ? Castillo a soumis 48 prompts, trois fois chacun, à 7 modèles. Il n'a trouvé aucune trace d'un tel ajustement.

Qu'est-ce que le benchmark du « pélican à vélo »

Le benchmark du « pélican à vélo » est un test personnel et informel de Simon Willison : il demande à chaque nouveau modèle de langage de générer un dessin SVG d'un pélican à bicyclette. Willison le qualifie lui-même de « profondément non scientifique ». En quelques années, le test est pourtant devenu si reconnaissable dans la communauté qu'un soupçon est apparu : les labos auraient pu se mettre à optimiser leurs modèles précisément pour lui, afin de paraître avantagés. Ce phénomène a reçu le nom plaisant de pelicanmaxxing (pelimaxxing dans le texte de Castillo).

Comment l'expérience est construite

Castillo a bâti une grille de 8 animaux et 6 moyens de transport, soit 48 combinaisons-prompts, et a soumis chacune trois fois à 7 modèles différents. Cette matrice permet de comparer si les modèles dessinent le duo « pélican + vélo » de façon anormalement meilleure que n'importe quelle autre association, comme « flamant rose sur une trottinette » ou « héron en bateau ».

• Date de publication : 22 juillet 2026
• 8 animaux × 6 moyens de transport = 48 prompts, chacun soumis 3 fois
• 7 modèles testés : GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 et DeepSeek V4 Pro
• Les résultats ont été évalués par deux modèles distincts : GPT-5.6 Luna et Gemini 3.1 Flash-Lite
• Pour parcourir toutes les générations, l'auteur a conçu une grille interactive avec filtres

A-t-on trouvé des traces d'ajustement ?

Castillo n'a relevé aucune trace de pelicanmaxxing sur aucun des cinq axes de vérification. Les pélicans à vélo ne sont pas mieux réussis que les autres scènes, les pélicans ne sont pas dessinés plus soigneusement que les autres animaux, les vélos ne sont pas plus soignés que les autres moyens de transport, et la combinaison elle-même ne ressort pas mieux que ne le prédisent les compétences individuelles du modèle, même en tenant compte de la difficulté. Le cinquième test a montré que les scènes ne semblent pas apprises par cœur.

GLM-5.2 est celle qui s'approche le plus d'une anomalie : elle affiche le plus fort gain de qualité précisément sur la cellule « pélican + vélo », et son tout premier exemple avait attiré l'attention de l'auteur. Mais, selon Castillo, l'effet reste faible et statistiquement non significatif.

« GLM-5.2 s'est approchée le plus : c'est elle qui affiche le plus fort gain sur la cellule « pélican à vélo ».

Mais l'effet est faible et statistiquement non significatif, donc je ne lui accorderais pas beaucoup de poids », — Dylan Castillo, auteur de l'étude.

Ce que cela signifie

Simon Willison, dont le benchmark a lancé toute la discussion, a qualifié le travail de Castillo d'« excellent » et noté que lui-même n'avait jusqu'ici testé les modèles que de façon ponctuelle, sans une telle méthode. La conclusion de l'étude rassure les sceptiques : rien n'indique pour l'instant que les labos « trichent » sur un test viral précis. Les modèles dessinent le pélican à vélo exactement aussi bien que le permettent leurs compétences générales en génération.

Questions fréquentes

Qu'est-ce que le pelicanmaxxing ?

C'est l'hypothèse selon laquelle les labos d'IA entraîneraient délibérément leurs modèles à réussir précisément le test du « pélican à vélo » de Simon Willison. L'étude de Dylan Castillo du 22 juillet 2026 n'a trouvé aucune confirmation en ce sens.

Quels modèles ont obtenu le meilleur résultat ?

Sur la matrice de 48 prompts, GLM-5.2 s'approche le plus d'un résultat « suspect » : elle affiche le gain maximal sur le duo « pélican + vélo ». L'effet est toutefois statistiquement non significatif, et l'auteur ne le considère donc pas comme une preuve d'ajustement.