RWE-bench evalúa a la IA en tareas de ingeniería: el mejor resultado es del 37 %

Un generador de código impresiona fácilmente en una demostración: le das una tarea, recibes una función, ejecutas las pruebas. Con un diseño de ingeniería ese truco se rompe pronto. Un cigüeñal puede parecer verosímil y, sin embargo, fallar por fatiga. Una placa de circuito impreso puede verse impecable en pantalla y no cumplir las restricciones de retardos y resistencia de las pistas.

La startup Xplore ha creado RWE-bench, un conjunto de 20 tareas de mecánica, electrónica e ingeniería aeronáutica. Aquí al modelo no se le pide una explicación ni un boceto «para inspirarse», sino un resultado terminado que pueda verificarse mediante cálculos. El mejor resultado medio declarado es del 37 %. Es una ducha fría importante para quienes ya han sustituido mentalmente el departamento de ingeniería por un agente con acceso a CAD.

Cómo funciona la verificación

Imagine la tarea: diseñar un cigüeñal de acero de una sola pieza para un motor diésel de tres cilindros. Debe encajar con los cojinetes y el volante de inercia indicados, no rozar las bielas, soportar la carga completa a 2400 revoluciones por minuto y mantener una vida útil de millones de ciclos. No basta con dibujar una forma adecuada: hay que cumplir a la vez las restricciones de masa, tensiones, rigidez, equilibrado y carga sobre los cojinetes.

Otras tareas siguen un esquema parecido. En una, el modelo enruta 71 redes de la interfaz DDR3L entre un procesador Zynq-7000 y dos chips de memoria en una placa de ocho capas ya poblada. En otra, construye una malla para calcular el flujo alrededor de un álabe de turbina, logra la convergencia y calcula el flujo de calor.

El modelo recibe un entorno aislado con CadQuery, Gmsh, CalculiX y Python. Puede crear geometría, lanzar cálculos físicos y corregir su solución. El trabajo final lo acepta un programa determinista: vuelve a comprobar los requisitos y ejecuta los solucionadores. En este circuito no hay modelos jueces ni evaluación manual. Si se incumple aunque sea una restricción obligatoria, la tarea no se da por buena.

Qué mostraron los resultados

Según Xplore, GPT-6 Astra resolvió de media el 37 % de las tareas, con un coste de 58,83 $ por ejecución. Claude Opus 5.5 logró un 29 % por 57,52 $, y GPT-6.1 Sol un 25 % por 10,28 $. Esta última resulta más práctica en la relación precio-resultado: quedó 12 puntos porcentuales por detrás del líder, pero costó casi seis veces menos.

El resto de participantes se quedó claramente atrás. Gemini 4 Argon obtuvo un 12 %, Claude Fable 5.1 un 7 % y Kimi K3.1 Pro un 1 %. Cinco modelos no resolvieron ninguna tarea. Además, un precio alto no garantizó calidad: una ejecución de Fable costó de media 97,57 $.

Sin embargo, es pronto para convertir la tabla en un ranking definitivo de modelos. El conjunto tiene solo 20 tareas, tanto las tareas como el programa verificador son cerrados, y las pruebas se realizan previo acuerdo con Xplore. La compañía también vende entornos de entrenamiento construidos con una metodología similar. Esto no demuestra que los resultados sean incorrectos, pero genera un conflicto de intereses comercial y dificulta la reproducción independiente. El EngiWorld público, de universidades chinas, es más transparente: su código, sus datos y la descripción de la metodología están disponibles, aunque las tareas y condiciones son distintas.

Qué deben hacer los equipos con esto

El principal valor de RWE-bench no está en ser otra tabla de clasificación. Muestra la arquitectura correcta para un agente de ingeniería: el modelo trabaja dentro de un circuito de herramientas, lanza él mismo los cálculos y el resultado lo acepta un código verificador independiente.

Si está creando un sistema así, no empiece por elegir el modelo más inteligente, sino por formalizar los requisitos. Traduzca tolerancias, cargas, restricciones geométricas y criterios de calidad a comprobaciones automáticas. Dé al agente acceso a herramientas de cálculo, conserve los artefactos intermedios y no entregue ningún resultado sin una validación reproducible.

Con un 37 % de soluciones correctas, un agente así todavía no es un diseñador autónomo. Pero como ejecutor que prueba variantes con rapidez bajo un control estricto, ya puede ser útil. La conclusión práctica es aburrida, pero funciona: lo que merece confianza no es el razonamiento del modelo, sino el sistema de comprobaciones que lo rodea.