BlenderWorld : GPT-6-Astra devance Opus-5 sur le benchmark 3D avec 79,9 points

Les auteurs de BlenderWorld proposent de mesurer non pas la capacité d'un modèle multimodal à écrire un script pour Blender, mais la ressemblance entre la scène assemblée et la scène commandée. Le jeu de tests compte 223 tâches. Les réponses sont notées selon 2 651 rubriques binaires, plus une évaluation visuelle globale. Parmi les treize modèles de pointe testés, GPT-6-Astra obtient le meilleur score agrégé : 79,9. Opus-5 totalise 73,0 et GPT-5.6-Sol 67,7. La conclusion générale des auteurs : les modèles gèrent bien les instructions larges, mais échouent nettement sur la cohérence spatiale fine et sur la reproduction exacte de la structure.

Comment fonctionne le test

Les modèles multimodaux jouent de plus en plus le rôle d'agents : ils écrivent du code pour un éditeur 3D ou pilotent directement le logiciel. Une tâche réelle ressemble rarement à « fais un cube ». Il s'agit généralement d'un ensemble de références : photo d'un bâtiment, vidéo d'un produit, schéma coté, description de l'éclairage. À partir de ces éléments, le modèle doit déduire la forme, les matériaux, la disposition des objets et la lumière, sans enfreindre les instructions. Selon les auteurs, les benchmarks existants couvrent mal ce type de requêtes ouvertes.

BlenderWorld comble cette lacune dans quatre domaines : l'architecture, les produits, les environnements naturels et la visualisation scientifique. Les données d'entrée varient aussi : texte, image, vidéo et spécifications structurées. Les tâches demandent de reconstruire un objet, de modifier un objet existant ou d'en concevoir un nouveau.

L'évaluation est la même pour tous. Les projets Blender finaux sont rendus sous plusieurs angles, puis le résultat est vérifié selon des rubriques rédigées pour chaque tâche. Cela compte : une seule belle image peut masquer une erreur de géométrie visible uniquement de côté. Une note visuelle globale est calculée séparément, et le fused score final combine les deux approches.

• Tâches : 223
• Rubriques binaires : 2 651, soit environ 12 par tâche
• Modèles comparés : 13
• Formats d'entrée : texte, image, vidéo, spécifications structurées
• Leaders : GPT-6-Astra — 79,9 ; Opus-5 — 73,0 ; GPT-5.6-Sol — 67,7

Où les modèles décrochent

L'écart entre la première et la deuxième place est de 6,9 points, entre la deuxième et la troisième de 5,3. Du leader à la troisième ligne, 12,2 points les séparent : le choix du modèle influe donc nettement sur le résultat. Mais même le meilleur score reste sous 80, ce qui signifie qu'une part significative des vérifications binaires échoue encore pour le vainqueur.

Les auteurs formulent la cause avec précision. Les modèles lisent la consigne et repèrent les objets nécessaires, mais maintiennent moins bien la position relative des éléments, les proportions et la structure. Ces erreurs sont plus difficiles à repérer qu'une mauvaise couleur : le mur est en place, la fenêtre existe, mais elle est décalée, et l'escalier n'atteint pas le plancher de l'étage. Les rubriques binaires appliquées aux différents angles de vue servent justement à cela, car elles contrôlent chaque détail séparément.

La description du benchmark ne contient pas d'analyse détaillée par domaine ni par type de données d'entrée. Il est donc impossible, pour l'instant, de dire ce qui est plus difficile : la vidéo ou la spécification. On ne sait pas non plus combien d'essais et d'outils chaque agent a reçus. Ces paramètres pèsent généralement beaucoup sur les chiffres, et il faudra les vérifier dans la version complète de l'article.

Que faire côté équipes

Pour les studios et les équipes produit qui envisagent d'automatiser la 3D, la conclusion est pragmatique. On peut déjà mobiliser des agents pour des scènes d'ébauche, du blocking et de la variation, là où la composition d'ensemble et le style comptent. La géométrie finale, les dimensions et les raccords devront pour l'instant être vérifiés par un humain ou par des tests automatiques dédiés.

Pour sa propre évaluation, il vaut la peine de reprendre le schéma de BlenderWorld : rendre le résultat depuis plusieurs caméras et le contrôler selon une liste de critères binaires, plutôt que sur la seule impression donnée par un aperçu. Des rubriques du type « les pieds de la table reposent sur le sol » ou « les fenêtres sont symétriques par rapport à la porte » coûtent peu à vérifier et attrapent précisément les erreurs sur lesquelles les modèles trébuchent.

Enfin, les chiffres du benchmark montrent le potentiel de modèles conçus dès l'origine pour la 3D : les auteurs eux-mêmes évoquent une marge de progression notable pour les futurs agents 3D-natifs. En attendant, les résultats servent de repère pour choisir un modèle et de liste honnête de points faibles à intégrer dans le pipeline.