RWE-bench testou a IA em tarefas de engenharia: o melhor resultado é de 37%

Um gerador de código impressiona facilmente numa demonstração: você dá uma tarefa, recebe uma função, roda os testes. Com um projeto de engenharia, esse truque logo desmorona. Um virabrequim pode parecer plausível e, ainda assim, falhar por fadiga. Uma placa de circuito impresso pode parecer impecável na tela e não atender às restrições de atraso e de resistência das trilhas.

A startup Xplore criou o RWE-bench, um conjunto de 20 tarefas de mecânica, eletrônica e engenharia aeronáutica. Aqui, do modelo não se espera uma explicação nem um desenho "para inspiração", mas um resultado pronto que possa ser verificado por cálculos. O melhor resultado médio declarado é de 37%. É uma ducha de água fria importante para todos que já substituíram mentalmente o departamento de engenharia por um agente com acesso a CAD.

Como funciona a verificação

Imagine a tarefa: projetar um virabrequim de aço inteiriço para um motor diesel de três cilindros. Ele precisa se encaixar nos mancais e no volante indicados, não encostar nas bielas, suportar carga total a 2.400 rotações por minuto e manter vida útil de milhões de ciclos. Não basta desenhar uma forma adequada: é preciso atender ao mesmo tempo às restrições de massa, tensões, rigidez, balanceamento e carga sobre os mancais.

Outras tarefas seguem um modelo parecido. Em uma, o modelo roteia 71 redes da interface DDR3L entre um processador Zynq-7000 e dois chips de memória numa placa de oito camadas já populada. Em outra, constrói uma malha para calcular o escoamento em torno de uma pá de turbina, alcança a convergência e calcula o fluxo de calor.

O modelo recebe um ambiente isolado com CadQuery, Gmsh, CalculiX e Python. Ele pode criar geometria, executar cálculos físicos e corrigir sua solução. O trabalho final é aceito por um programa determinístico: ele reverifica os requisitos e roda os solvers novamente. Nesse circuito não há modelos juízes nem avaliação manual. Se pelo menos uma restrição obrigatória for violada, a tarefa não é contabilizada.

O que os resultados mostraram

Segundo a Xplore, o GPT-6 Astra resolveu em média 37% das tarefas, a um custo de US$ 58,83 por execução. O Claude Opus 5.5 obteve 29% por US$ 57,52, e o GPT-6.1 Sol, 25% por US$ 10,28. Este último parece mais prático na relação entre preço e resultado: ficou 12 pontos percentuais atrás do líder, mas custou quase seis vezes menos.

Os demais participantes ficaram bem para trás. O Gemini 4 Argon fez 12%, o Claude Fable 5.1, 7%, e o Kimi K3.1 Pro, 1%. Cinco modelos não resolveram nenhuma tarefa. Além disso, preço alto não garantiu qualidade: uma execução do Fable custou em média US$ 97,57.

No entanto, ainda é cedo para transformar a tabela num ranking definitivo de modelos. O conjunto tem apenas 20 tarefas, tanto as tarefas quanto o programa verificador são fechados, e os testes são feitos mediante acordo com a Xplore. A empresa também vende ambientes de treinamento construídos com metodologia semelhante. Isso não prova que os resultados sejam incorretos, mas cria um conflito de interesses comercial e dificulta a reprodução independente. O EngiWorld público, de universidades chinesas, é mais transparente: seu código, seus dados e a descrição da metodologia estão disponíveis, embora as tarefas e condições sejam diferentes.

O que as equipes devem fazer com isso

O principal valor do RWE-bench não está em ser mais uma tabela de classificação. Ele mostra a arquitetura correta para um agente de engenharia: o modelo trabalha dentro de um circuito de ferramentas, executa os cálculos por conta própria, e o resultado é aceito por um código verificador independente.

Se você está criando um sistema desse tipo, comece não pela escolha do modelo mais inteligente, mas pela formalização dos requisitos. Traduza tolerâncias, cargas, restrições geométricas e critérios de qualidade em verificações automáticas. Dê ao agente acesso a ferramentas de cálculo, guarde os artefatos intermediários e não libere nenhum resultado sem validação reproduzível.

Com 37% de soluções bem-sucedidas, esse agente ainda não se tornou um projetista autônomo. Mas, como executor que testa variantes rapidamente sob controle rigoroso, ele já pode ser útil. A conclusão prática é entediante, porém funcional: o que merece confiança não é o raciocínio do modelo, e sim o sistema de verificações em torno dele.