Artificial Analysis запустила AA-3D: Claude Sonnet 5.5 лидирует с 1194 Elo

Artificial Analysis выпустила AA-3D, бенчмарк, который проверяет, умеют ли ИИ-модели строить интерактивные 3D-сцены, в которых людям хочется копаться. Лидер на старте — Claude Sonnet 5.5 с 1194 Elo. Однако доверительные интервалы первых четырёх моделей, все из Anthropic и OpenAI, пересекаются, так что говорить о единоличном победителе нельзя. Седьмая по счёту Muse Spark 1.3 от Meta набрала 1035, а лучшие открытые модели, Kimi K3 (982) и MiMo-V2.6-Pro (977), занимают 11-е и 12-е места с отставанием свыше 200 пунктов.

Как устроен тест

Каждая модель работает агентом в офлайн-песочнице. Ей дают текстовое ТЗ на одну сцену, например «Внутри митохондрии», «Бьющееся сердце», «Кот убирает со стола» или «Анатомия тяжелоатлета». Плюс общий для всех контракт на сдачу результата. В распоряжении агента Blender, физика Rapier, Python, headless-браузер и библиотека CC0-ассетов. Он пишет код, рендерит сцену, смотрит собственные скриншоты и правит. Лимит: три часа или 250 ходов. На выходе один файл index.html на three.js.

Дальше работает слепое попарное голосование: рекрутированная панель выбирает лучшую из двух сцен по одному брифу, не зная авторов. Итог считается по Elo. В выборке 21 модель, 1008 сцен и более 10 тысяч голосов.

Что отличает победителей

Главный вывод: важно не сколько модель работает, а как. Количество выходных токенов и число ходов с Elo не коррелируют (Spearman 0.33 и −0.27, оба незначимы). Claude Sonnet 5.5 генерирует 569 тысяч выходных токенов на сцену, GPT-6 Sol только 109 тысяч, при этом Sol пятая.

• Ранний взгляд на результат. Топ-5 впервые смотрят на скриншот своей сцены в среднем на 10–13-м ходу, и к 20-му ходу делают это минимум в 89% сцен. Модели с 14-го по 20-е место ждут до 15–40-го хода. Корреляция времени первого просмотра с Elo — 0.82. MiniMax-M3 смотрит на сцену 54 раза, чаще всех, но к 20-му ходу успевает лишь в 7% случаев и стоит на 19-м месте.
• Интерфейс. У лидеров медиана 15–20 кнопок и контролов на странице против 6–8 у аутсайдеров (Pearson 0.90).
• Детализация. Самая детальная пятая часть сцен выигрывает 63% голосов, самая бедная — 31%. Но это в основном заслуга сильных моделей: внутри одной модели прирост от детальности около 1.5 пункта на стандартное отклонение.
• Производительность не различает модели: медианный кадр у всех занимает меньше 1.3 мс GPU-времени.
• CC0-ассеты используют в трёх сценах из четырёх, но на победы это не влияет, если учесть соперника.

Отдельно видна роль зрения. GLM-5.3 и Nemotron 3 Ultra не умеют смотреть изображения и строили сцены вслепую. GLM-5.3 оказывается на 197 пунктов ниже тренда, а GLM-5.3-Flash, которая картинки видит, набирает на 149 больше при более низком Intelligence Index. Общий интеллект объясняет многое: каждый пункт индекса даёт около 18 Elo (Pearson 0.92). Но модели OpenAI превосходят этот тренд: GPT-6 Luna на 141, GPT-6 Sol на 93, GPT-6 Astra на 46.

Цена и скорость

Сцена обходится от $0.20 до $32.08. Дешевле всех GPT-6 Luna, дороже всех Claude Fable 5.1. Luna при этом строит все 55 сцен и занимает восьмое место. Kimi K3 тратит на сцену в 68 раз больше за сопоставимый Elo. 69% расходов приходится на входные токены, потому что агент на каждом ходу пересылает весь контекст. Среди пятёрки лидеров дешевле всех GPT-6 Sol: $3.46 за сцену. Sonnet 5.5 дороже в 4.4 раза, Fable 5.1 в 9.3.

Стиль работы тоже разный. GPT-6 Astra выдаёт первую полную страницу через 6 минут и заканчивает на 68-й. Sonnet 5.5 не показывает ничего до 42-й минуты и работает почти три часа, но цена прогона — $14.93 против $11.62 у Astra, хотя токенов он пишет в 6.2 раза больше: помогают низкие листовые цены. Медианный прогон GPT-6 Sol занимает 60 минут, у остальных четырёх лидеров 115–151.

Что взять в работу

Если вы строите агентов для генерации интерфейсов, визуализаций или игр, закладывайте в цикл ранний и частый просмотр собственного рендера: это самый устойчивый сигнал качества в данных. Модель без доступа к картинкам берите только осознанно. Для массовой генерации сцен по бюджету оптимальны GPT-6 Luna и GPT-6 Sol: качество близко к верхней группе, а цена на порядок ниже. Для открытых моделей разрыв остаётся большим, так что на 3D-задачах локальный выбор пока стоит дороже в качестве. Учтите и ограничения: ничья в топе-4 означает, что выбирать между ними стоит по цене и времени прогона, а не по строчке в таблице.