Claude Opus 5.5 выиграл Code2Video-AA с 1536 Elo, обойдя GPT-6 Astra на 109

Artificial Analysis выпустила Code2Video-AA, независимую реализацию бенчмарка HeyGen Code2Video Bench. Модели получают 114 дизайн-брифов на короткие продуктовые и брендовые ролики и должны спроектировать видео кодом. В первом рейтинге на 26 октября 2026 года лидирует Claude Opus 5.5 (max with fallback) с 1536 Elo. До второго места ему 93 пункта, и он первый по всем пяти осям оценки. Следом идут Claude Sonnet 5.5 с 1443 и GPT-6 Astra с 1427, и разница между ними лежит в пределах шума.

Как модель делает видео без единого инструмента

Условия жёсткие. Модель получает бриф и системный промпт HeyGen одним вызовом, без инструментов и без возможности поправить результат. На выходе должен быть один файл index.html с композицией HyperFrames: HTML отвечает за раскладку, GSAP за анимацию. Затем композицию рендерят в видео, а LLM-судьи попарно сравнивают ролики по пяти осям. Итоговый Elo равен среднему по осям и привязан к GPT-5.5 (xhigh) на отметке 1000.

Брифы очень детальны. В одном из примеров публичной выборки нужно собрать демо конструктора вайрфреймов длиной около 7,3 секунды. Там чёрная титульная карточка, жёсткий монтажный склейка, неподвижная камера без зума, строгая палитра с единственным лаймово-жёлтым акцентом #E4E41B и блоки Spacer, Media и Text, которые по очереди появляются на холсте под курсором. Тайминг и палитру модель должна выдержать в коде.

Таблица: 27 моделей по Elo

• Claude Opus 5.5 (max with fallback) — 1536
• Claude Sonnet 5.5 (max with fallback) — 1443
• GPT-6 Astra (max) — 1427
• GPT-6.1 Sol (max) — 1369
• Claude Fable 5.1 (max with fallback) — 1325
• Gemini 4 Argon (high) — 1259
• Claude Haiku 5.5 (max) — 1192
• Grok 4.7 (xhigh) — 1127
• DeepSeek V4.1 Flash (max) — 1053
• MiMo-V2.6-Flash — 1052
• MiMo-V2.6-Pro — 1052
• Kimi K3 (max) — 1041
• GLM-5.3 (max) — 1034
• GPT-6 Luna (max) — 1030
• Qwen3.8 Max (0902) — 1021
• Muse Spark 1.3 (max) — 1019
• GPT-5.5 (xhigh) — 1000
• Muse Wonder (max) — 997
• GLM-5.3-Flash — 975
• Qwen3.8 27B (xhigh) — 949
• Mistral Large 4 Preview — 931
• Gemini 3.8 Flash (high) — 899
• Step 5 Preview — 821
• MiniMax-M3 — 724
• Beam 1.0 — 675
• Inkling (xhigh) — 467
• Nemotron 3 Ultra — 304

Разрыв между лидером и открытыми моделями составляет минимум 483 пункта. Лучшие из открытых: DeepSeek V4.1 Flash (1053), MiMo-V2.6-Flash и MiMo-V2.6-Pro (по 1052).

Преимущество Opus 5.5 особенно заметно в craft, то есть в чистоте исполнения: там он опережает Sonnet 5.5 на 128 пунктов. Меньше всего отрыв по prompt intent, 48 пунктов. Порядок моделей почти не меняется от оси к оси: никто не смещается больше чем на шесть мест. Temporal consistency разделяет модели слабее всего: диапазон Elo там 1057 пунктов против 1222–1349 на остальных четырёх осях.

Цена победы и расход токенов

Стоимость одной задачи колеблется от $0,01 у MiMo-V2.6-Flash до $3,89 у Claude Fable 5.1, то есть больше чем в 300 раз. Лидер обходится в $3,08. GPT-6.1 Sol на четвёртом месте стоит $0,31, примерно в десять раз дешевле. GPT-6 Astra стоит $1,62, это в 5 раз дороже Sol при выигрыше в 58 пунктов Elo. Восемь моделей лежат на парето-фронте «Elo против цены». Среди них MiMo-V2.6-Flash (1052 Elo, $0,01), Claude Haiku 5.5 (1192 Elo, $0,08), GPT-6.1 Sol (1369 Elo, $0,31) и Claude Opus 5.5 (1536 Elo, $3,08).

Расход токенов отличается в 16 раз: от около 11 тысяч у Nemotron 3 Ultra до около 176 тысяч у Claude Sonnet 5.5. Основная разница приходится на токены рассуждений. Сами ответы с композициями занимают у всех от 4 до 12 тысяч токенов. Три модели Claude 5.5 тратят 152–176 тысяч токенов на задачу, у остальных 24 моделей среднее около 42 тысяч, медиана около 34 тысяч.

Отдельная проверка касается рендера: композиция, которая не превратилась в видео, проигрывает любое сравнение. Отрендерилось 3042 из 3078 задач (98,8%), 8 моделей из 27 справились со всеми 114. Минимальный показатель у GLM-5.3 (max): 110 из 114. У трёх последних моделей рендерилось 111–113 задач, так что их низкий Elo объясняется в основном вердиктами судей по готовым роликам.

Для практики вывод такой. Если нужен максимум качества анимации в коде и бюджет позволяет, у Opus 5.5 пока нет конкурентов. Если важна экономика на потоке роликов, разумнее смотреть на GPT-6.1 Sol или Claude Haiku 5.5. Открытые модели пока годятся лишь для дешёвых черновиков: MiMo-V2.6-Flash стоит копейки, но отстаёт на 484 пункта. Рейтинг будет обновляться на странице Code2Video-AA, а выборка брифов опубликована HeyGen по лицензии CC BY 4.0.