BlenderWorld: GPT-6-Astra обошёл Opus-5 в 3D-бенчмарке, набрав 79,9 балла

Авторы бенчмарка BlenderWorld предложили проверять не то, умеет ли мультимодальная модель написать скрипт для Blender, а то, насколько собранная сцена похожа на заказанную. Набор включает 223 задачи, а ответы оцениваются по 2 651 бинарной рубрике плюс общей визуальной оценке. Среди тринадцати протестированных передовых моделей лучший сводный результат у GPT-6-Astra: 79,9. Opus-5 набрал 73,0, GPT-5.6-Sol — 67,7. Общий вывод авторов: модели справляются с широкими инструкциями, но заметно проваливаются на мелкой пространственной согласованности и точном воспроизведении структуры.

Как устроен тест

Мультимодальные модели всё чаще работают агентами: пишут код для 3D-редактора или управляют программой напрямую. Реальная задача редко звучит как «сделай куб». Обычно это набор референсов: фото здания, видео продукта, схема с размерами, описание освещения. Из них нужно вывести форму, материалы, расстановку объектов и свет, не нарушая инструкций. По словам авторов, существующие бенчмарки такие открытые запросы покрывают слабо.

BlenderWorld закрывает этот пробел по четырём направлениям: архитектура, продукты, природные среды и научная визуализация. Входные данные тоже разные: текст, изображение, видео и структурированные спецификации. Задачи требуют реконструировать объект, изменить существующий или спроектировать новый.

Оценка единая для всех. Итоговые проекты Blender рендерятся с нескольких ракурсов, и результат проверяется по рубрикам, написанным под каждую задачу. Это важно: один удачный кадр может скрыть ошибку геометрии, которая видна только сбоку. Отдельно считается общая визуальная оценка, а итоговый fused score объединяет оба подхода.

• Задач: 223
• Бинарных рубрик: 2 651, около 12 на задачу
• Моделей в сравнении: 13
• Форматы входа: текст, изображение, видео, структурированные спецификации
• Лидеры: GPT-6-Astra — 79,9; Opus-5 — 73,0; GPT-5.6-Sol — 67,7

Где модели ломаются

Разрыв между первым и вторым местом составляет 6,9 пункта, между вторым и третьим — 5,3. От лидера до третьей строки набирается 12,2 пункта, то есть выбор модели заметно влияет на результат. Но даже лучший показатель ниже 80, а значит, значительная часть бинарных проверок у победителя всё равно не проходит.

Причину авторы формулируют конкретно. Модели читают задание и выделяют нужные объекты, но хуже удерживают взаимное положение деталей, пропорции и структуру. Такие ошибки труднее заметить, чем неправильный цвет: стена на месте, окно есть, но смещено, а лестница не доходит до перекрытия. Бинарные рубрики на ракурсах как раз для этого и нужны, потому что они проверяют каждую деталь отдельно.

В описании нет подробного разбора по доменам и по типам входных данных, поэтому сказать, что сложнее — видео или спецификация, пока нельзя. Нет и данных о том, сколько попыток и инструментов получал каждый агент. Эти параметры обычно сильно влияют на цифры, и их стоит проверить в полной версии статьи.

Что делать командам

Для студий и продуктовых команд, которые думают об автоматизации 3D, вывод практичный. Агентов уже можно привлекать для черновых сцен, блокинга и вариативности, где важны общий состав и стилистика. Окончательную геометрию, размеры и стыки пока придётся проверять человеку или отдельным автоматическим тестам.

При собственной оценке стоит перенять схему BlenderWorld: рендерить результат с нескольких камер и проверять его по списку бинарных критериев, а не по одному впечатлению от превью. Рубрики вроде «ножки стола стоят на полу» или «окна симметричны относительно двери» дешевы в проверке и ловят именно те ошибки, на которых модели сыплются.

Наконец, цифры бенчмарка показывают потенциал для моделей, ориентированных на 3D с самого начала: авторы сами говорят о заметном запасе для будущих 3D-нативных агентов. Пока же результаты полезны как ориентир при выборе модели и как честный список слабых мест, который стоит учитывать в пайплайне.