RWE-bench проверил ИИ на инженерных задачах: лучший результат — 37%

Генератор кода легко впечатляет на демонстрации: дал задачу, получил функцию, запустил тесты. С инженерной конструкцией этот трюк быстро ломается. Коленвал может выглядеть правдоподобно, но разрушиться от усталости. Печатная плата может быть аккуратной на экране, но не пройти ограничения по задержкам и сопротивлению дорожек.

Стартап Xplore собрал RWE-bench — набор из 20 задач по механике, электронике и авиационной технике. Здесь от модели требуется не объяснение и не чертёж «для вдохновения», а готовый результат, который можно проверить расчётами. Лучший заявленный средний результат — 37%. Это важный холодный душ для всех, кто уже мысленно заменил инженерный отдел агентом с доступом к CAD.

Как устроена проверка

Представьте задачу: спроектировать цельный стальной коленчатый вал трёхцилиндрового дизеля. Он должен подходить к заданным подшипникам и маховику, не задевать шатуны, выдерживать полную нагрузку при 2400 оборотах в минуту и сохранять ресурс в миллионы циклов. Недостаточно нарисовать подходящую форму — нужно одновременно уложиться в ограничения по массе, напряжениям, жёсткости, балансировке и нагрузке на подшипники.

Другие задания устроены похожим образом. В одном модель разводит 71 цепь интерфейса DDR3L между процессором Zynq-7000 и двумя микросхемами памяти на уже заполненной восьмислойной плате. В другом строит сетку для расчёта обтекания турбинной лопатки, добивается сходимости и вычисляет тепловой поток.

Модель получает песочницу с CadQuery, Gmsh, CalculiX и Python. Она может создавать геометрию, запускать физические расчёты и исправлять решение. Финальную работу принимает детерминированная программа: она заново проверяет требования и запускает решатели. Судьи-модели и ручной оценки в этом контуре нет. Если нарушено хотя бы одно обязательное ограничение, задача не засчитывается.

Что показали результаты

По данным Xplore, GPT-6 Astra решила в среднем 37% задач при стоимости одного запуска $58,83. Claude Opus 5.5 набрала 29% при $57,52, а GPT-6.1 Sol — 25% при $10,28. Последняя выглядит практичнее по соотношению цены и результата: она уступила лидеру 12 процентных пунктов, но обошлась почти в шесть раз дешевле.

Остальные участники заметно отстали. Gemini 4 Argon получила 12%, Claude Fable 5.1 — 7%, Kimi K3.1 Pro — 1%. Пять моделей не решили ни одной задачи. При этом высокая цена не гарантировала качество: запуск Fable стоил в среднем $97,57.

Однако превращать таблицу в окончательный рейтинг моделей рано. В наборе всего 20 заданий, сами задания и проверяющая программа закрыты, а тестирование проводится по договорённости с Xplore. Компания также продаёт тренировочные среды, построенные по схожей методике. Это не доказывает некорректность результатов, но создаёт коммерческий конфликт интересов и мешает независимому воспроизведению. Публичный EngiWorld от китайских университетов прозрачнее: у него доступны код, данные и описание методики, хотя задачи и условия там отличаются.

Что с этим делать командам

Главная ценность RWE-bench не в очередной турнирной таблице. Он показывает правильную архитектуру инженерного агента: модель работает внутри инструментального контура, сама запускает расчёты, а результат принимает независимый проверяющий код.

Если вы создаёте подобную систему, начните не с выбора самой умной модели, а с формализации требований. Переведите допуски, нагрузки, геометрические ограничения и критерии качества в автоматические проверки. Давайте агенту доступ к расчётным инструментам, сохраняйте промежуточные артефакты и не выпускайте результат без воспроизводимой валидации.

При 37% успешных решений автономным конструктором такой агент ещё не стал. Но как исполнитель, который быстро перебирает варианты под строгим контролем, он уже может быть полезен. Практический вывод скучный, зато рабочий: доверять стоит не рассуждениям модели, а системе проверок вокруг неё.