RWE-bench a testé l’IA sur des tâches d’ingénierie : le meilleur score atteint 37 %

Un générateur de code impressionne facilement en démonstration : on lui confie une tâche, il produit une fonction, puis les tests sont lancés. En conception technique, cette astuce atteint vite ses limites. Un vilebrequin peut sembler plausible tout en cédant sous l’effet de la fatigue. Un circuit imprimé peut paraître impeccable à l’écran, mais ne pas respecter les contraintes de latence et d’impédance des pistes.

La start-up Xplore a créé RWE-bench, un ensemble de 20 tâches couvrant la mécanique, l’électronique et l’ingénierie aéronautique. Le modèle ne doit fournir ni une explication ni un dessin « pour inspiration », mais un résultat final pouvant être vérifié par des calculs. Le meilleur score moyen annoncé est de 37 %. C’est une importante douche froide pour tous ceux qui avaient déjà mentalement remplacé leur bureau d’études par un agent doté d’un accès à la CAO.

Comment fonctionne l’évaluation

Imaginez la tâche suivante : concevoir un vilebrequin monobloc en acier pour un moteur diesel à trois cylindres. Il doit être compatible avec des paliers et un volant moteur imposés, ne pas toucher les bielles, supporter la pleine charge à 2 400 tours par minute et conserver une durée de vie de plusieurs millions de cycles. Dessiner une forme adaptée ne suffit pas : il faut simultanément respecter les contraintes de masse, de contrainte mécanique, de rigidité, d’équilibrage et de charge sur les paliers.

Les autres tâches suivent une logique similaire. Dans l’une d’elles, le modèle doit router 71 lignes d’une interface DDR3L entre un processeur Zynq-7000 et deux puces mémoire sur un circuit imprimé à huit couches déjà densément peuplé. Dans une autre, il construit un maillage destiné au calcul de l’écoulement autour d’une aube de turbine, obtient la convergence et calcule le flux thermique.

Le modèle reçoit un environnement isolé comprenant CadQuery, Gmsh, CalculiX et Python. Il peut créer la géométrie, lancer les calculs physiques et corriger sa solution. Le travail final est accepté par un programme déterministe, qui revérifie les exigences et exécute les solveurs. Aucun modèle juge ni aucune évaluation manuelle n’intervient dans cette boucle. Si une seule contrainte obligatoire est enfreinte, la tâche entière est considérée comme échouée.

Ce que montrent les résultats

Selon Xplore, GPT-6 Astra a résolu en moyenne 37 % des tâches, pour un coût de 58,83 $ par exécution. Claude Opus 5.5 a atteint 29 % pour 57,52 $, contre 25 % pour GPT-6.1 Sol à 10,28 $. Cette dernière paraît plus intéressante en matière de rapport coût-résultat : elle accuse un retard de 12 points de pourcentage sur le leader, mais coûte près de six fois moins cher.

Les autres participants sont nettement distancés. Gemini 4 Argon a obtenu 12 %, Claude Fable 5.1, 7 %, et Kimi K3.1 Pro, 1 %. Cinq modèles n’ont résolu aucune tâche. Un tarif élevé n’a par ailleurs pas garanti la qualité : une exécution de Fable coûtait en moyenne 97,57 $.

Il est toutefois trop tôt pour transformer ce tableau en classement définitif des modèles. Le jeu ne compte que 20 tâches, les énoncés comme le programme de vérification sont fermés, et les tests sont réalisés en accord avec Xplore. L’entreprise commercialise également des environnements d’entraînement reposant sur une méthode similaire. Cela ne prouve pas que les résultats soient incorrects, mais crée un conflit d’intérêts commercial et empêche leur reproduction indépendante. Le benchmark public EngiWorld, développé par des universités chinoises, est plus transparent : son code, ses données et sa méthodologie sont accessibles, même si ses tâches et ses conditions diffèrent.

Ce que les équipes doivent en faire

La principale valeur de RWE-bench ne réside pas dans un nouveau classement. Il montre l’architecture pertinente d’un agent d’ingénierie : le modèle travaille au sein d’une chaîne d’outils, lance lui-même les calculs et soumet son résultat à un code de vérification indépendant.

Si vous construisez un système similaire, ne commencez pas par choisir le modèle le plus intelligent, mais par formaliser les exigences. Transformez les tolérances, les charges, les contraintes géométriques et les critères de qualité en contrôles automatisés. Donnez à l’agent accès aux outils de calcul, conservez les artefacts intermédiaires et ne publiez aucun résultat sans validation reproductible.

Avec seulement 37 % de solutions réussies, un tel agent n’est pas encore un concepteur autonome. Mais il peut déjà être utile comme exécutant capable d’explorer rapidement des variantes sous un contrôle strict. La conclusion pratique est peu spectaculaire, mais solide : il faut faire confiance non aux raisonnements du modèle, mais au système de vérification qui l’entoure.