Artificial Analysis lance AA-3D : Claude Sonnet 5.5 en tête avec 1194 Elo

Artificial Analysis a publié AA-3D, un benchmark conçu pour vérifier si les modèles d'IA sont capables de concevoir des scènes 3D interactives attractives pour les utilisateurs. Au lancement, Claude Sonnet 5.5 prend la tête avec 1194 Elo. Toutefois, les intervalles de confiance des quatre premiers modèles — tous issus d'Anthropic et d'OpenAI — se chevauchent, ce qui empêche de désigner un vainqueur incontestable. En septième position, Muse Spark 1.3 de Meta affiche 1035 points, tandis que les meilleurs modèles ouverts, Kimi K3 (982) et MiMo-V2.6-Pro (977), occupent les 11e et 12e places avec un retard supérieur à 200 points.

Comment fonctionne le test

Chaque modèle intervient en tant qu'agent au sein d'un bac à sable hors ligne. Il reçoit un brief textuel pour générer une scène unique, comme « Au cœur d'une mitochondrie », « Un cœur qui bat », « Un chat qui débarrasse la table » ou « Anatomie d'un haltérophile », accompagné d'un contrat de livraison standardisé. L'agent dispose de Blender, du moteur physique Rapier, de Python, d'un navigateur headless et d'une bibliothèque d'assets CC0. Il écrit du code, effectue le rendu de la scène, inspecte ses propres captures d'écran et ajuste le résultat. La limite est fixée à trois heures ou 250 tours d'exécution. Le livrable final consiste en un unique fichier index.html exploitant three.js.

Un vote à l'aveugle par paires prend ensuite le relais : un panel d'évaluateurs sélectionne la meilleure des deux scènes produites pour un même brief, sans connaître l'identité des modèles. Le score final est calculé selon la méthode Elo. Le panel d'évaluation repose sur 21 modèles, 1008 scènes et plus de 10 000 votes.

Ce qui distingue les vainqueurs

Premier constat notable : la manière de travailler prime sur le volume de travail. Le volume de tokens de sortie et le nombre de tours ne présentent aucune corrélation significative avec le score Elo (Spearman à 0.33 et −0.27, tous deux non significatifs). Claude Sonnet 5.5 génère 569 000 tokens de sortie par scène quand GPT-6 Sol n'en produit que 109 000, ce qui n'empêche pas ce dernier d'atteindre la cinquième place.

• Une vérification visuelle précoce. Les modèles du top 5 regardent une capture de leur scène dès le 10e à 13e tour en moyenne, et le font avant le 20e tour dans au moins 89% des cas. Les modèles situés entre la 14e et la 20e place attendent souvent entre le 15e et le 40e tour. La corrélation entre le moment de la première inspection visuelle et le score Elo atteint 0.82. MiniMax-M3 observe sa scène à 54 reprises — le score le plus élevé —, mais n'y parvient avant le 20e tour que dans 7% des cas et termine à la 19e place.
• L'interface utilisateur. Les leaders intègrent une médiane de 15 à 20 boutons et contrôles par page, contre 6 à 8 pour les modèles en queue de peloton (Pearson de 0.90).
• Le niveau de détail. Le quintile de scènes le plus détaillé remporte 63% des votes, contre 31% pour le plus dépouillé. Cette différence découle surtout de la supériorité des modèles de tête : pour un même modèle, le gain lié au niveau de détail ne progresse que d'environ 1.5 point par écart-type.
• Les performances d'exécution ne permettent pas de départager les candidats : la durée médiane de traitement par frame reste inférieure à 1.3 ms de temps GPU pour l'ensemble des modèles.
• Les assets CC0 sont intégrés dans trois scènes sur quatre, mais leur présence n'influe pas sur la probabilité de victoire une fois l'adversaire pris en compte.

L'impact des capacités de vision est manifeste. Privés de fonctions visuelles, GLM-5.3 et Nemotron 3 Ultra ont dû générer leurs scènes à l'aveugle. GLM-5.3 se retrouve 197 points sous la tendance attendue, tandis que GLM-5.3-Flash, doté de la vue, gagne 149 points malgré un Intelligence Index inférieur. Les capacités intellectuelles globales expliquent une part importante des écarts : chaque point d'indice apporte environ 18 Elo (Pearson de 0.92). Toutefois, les modèles d'OpenAI surperforment cette tendance : GPT-6 Luna la dépasse de 141 points, GPT-6 Sol de 93 points et GPT-6 Astra de 46 points.

Coût et rapidité

La génération d'une scène coûte entre $0.20 et $32.08. GPT-6 Luna s'avère le plus économique, et Claude Fable 5.1 le plus onéreux. Luna boucle l'intégralité des 55 scènes requises tout en s'octroyant la huitième place. De son côté, Kimi K3 dépense 68 fois plus par scène pour un classement Elo similaire. Les tokens d'entrée concentrent 69% des dépenses, l'agent réinjectant l'historique complet du contexte à chaque étape. Dans le top 5, GPT-6 Sol reste le plus accessible à $3.46 la scène. Sonnet 5.5 est 4.4 fois plus cher, et Fable 5.1 grimpe à 9.3 fois ce montant.

Les méthodes de travail divergent également. GPT-6 Astra fournit une première page complète en 6 minutes pour finaliser l'ensemble à la 68e minute. Sonnet 5.5 ne présente rien avant la 42e minute et travaille près de trois heures ; son coût d'exécution atteint néanmoins $14.93 contre $11.62 pour Astra, bien qu'il génère 6.2 fois plus de tokens, profitant d'une tarification brute avantageuse. Le temps d'exécution médian de GPT-6 Sol s'établit à 60 minutes, contre 115 à 151 minutes pour les quatre autres leaders.

Ce qu'il faut en retenir

Pour concevoir des agents voués à la création d'interfaces, de visualisations ou de moteurs de jeu, intégrez impérativement une boucle d'inspection visuelle précoce et répétée des rendus : c'est le facteur de qualité le plus fiable mis en évidence par les données. Évitez les modèles sans capacités de vision pour ces tâches, sauf contrainte explicite. Pour générer des scènes en volume sans exploser les budgets, GPT-6 Luna et GPT-6 Sol représentent les choix les plus rationnels, offrant des performances proches du groupe de tête pour un tarif nettement plus bas.

L'écart reste conséquent pour les modèles open source, ce qui rend l'auto-hébergement pénalisant sur le plan qualitatif en 3D. Enfin, gardez à l'esprit les limites statistiques du test : l'égalité technique au sein du top 4 implique de choisir son modèle selon le coût d'API et le temps de calcul, plutôt que d'après sa simple position dans le tableau.