Claude Fable 5.2 лидирует в бенчмарке MKA с 57%, но задача стоит $31,97

Большинство агентных бенчмарков до сих пор проверяют, как модель пишет код или ходит по сайтам. Реальная офисная работа выглядит иначе: инженер получает архитектурный чертёж, аналитик получает скан документа, и от них ждут не ответ в чате, а готовый файл. Именно это проверяет MKA (Multimodal Knowledge Agent), новый бенчмарк Google DeepMind, который Artificial Analysis запустила эксклюзивно на своей площадке.

Что именно проверяют

В бенчмарке 200 закрытых задач из 10 отраслей. Агент работает с плотными визуальными материалами: архитектурными чертежами, инженерными схемами, клиническими сканами. На выходе он должен сделать один из шести типов файлов: презентацию, таблицу, PDF, документ Word, текстовый файл или размеченное изображение.

Главное отличие от многих других тестов в том, что картинка здесь не просто дополнительный контекст. Без внимательного разбора визуальных файлов задачу решить нельзя. Если у вас агент для строительной компании или клиники, этот тест ближе к вашей реальности, чем очередной набор задач на код.

Каждую задачу оценивают по экспертным рубрикам, в среднем около 70 взвешенных критериев. Критерии делятся на две группы. «Regression» — базовые проверки, которые модель обязана проходить. «Climb» — сложные проверки, которые отделяют сильные модели от средних. Главная метрика, Climb WSR, показывает взвешенную долю выполненных сложных критериев.

Запуск идёт в открытом агентном каркасе Stirrup: у агента есть выполнение кода, веб-поиск, загрузка страниц и просмотр изображений, до 250 ходов. Результат проверяет агентный судья на базе GPT-6 Luna (medium).

Кто впереди и сколько это стоит

На первом месте Claude Fable 5.2 (max) с Climb WSR 57%. Дальше идут Gemini 4 Carbon (high) с 54% и Claude Opus 5.5 (max) с 53%. Если смотреть на цифры трезво, лучшая модель закрывает чуть больше половины сложных критериев. До надёжной замены специалиста по такой работе далеко.

Нагляднее всего цена. Fable 5.2 тратит в среднем $31,97 на задачу. Это больше чем в 5 раз дороже Gemini 4 Carbon ($6,29) ради примерно двух дополнительных пунктов качества. И примерно в 29 раз дороже GPT-6.1 Sol ($1,11). Все четыре протестированные модели OpenAI (GPT-6 Astra, GPT-6.1 Sol, GPT-6.1 Terra, GPT-6 Luna) лежат на парето-границе цены и качества ниже Carbon. Туда же попали Claude Haiku 5.5 и MiMo-V2.6-Pro.

Парето-граница здесь значит простую вещь: эти модели нельзя заменить на другую, которая была бы одновременно дешевле и лучше.

Универсального победителя нет

По отраслям картина пёстрая:

• Claude Fable 5.2 лидирует в пяти вертикалях: Software & Data, Engineering, Logistics & Mapping, Business и Finance (последнюю делит с Claude Sonnet 5.5).
• Claude Opus 5.5 впереди в образовании и строительстве.
• Gemini 4 Argon выигрывает в науке, Gemini 4 Carbon — в здравоохранении.
• Claude Sonnet 5.5 с небольшим отрывом лидирует в праве и госсекторе.

По типам выходных файлов разброс меньше, чем по отраслям. Fable 5.2 впереди на PDF, Word, таблицах (с минимальным отрывом) и презентациях (вместе с Opus 5.5). Gemini 4 Argon и Carbon лучше всех с изображениями, а DeepSeek V4.1 Flash 1017 — с текстовыми файлами. Самые тяжёлые форматы — Word и текстовые файлы: ни одна модель не прошла 52%.

Что с этим делать

Первый вывод для продактов: не выбирайте модель по общему рейтингу. Если ваш сценарий — медицина или юридические документы, лидер может оказаться другим, и стоит проверять модель именно на своей вертикали.

Второй вывод: считайте деньги на задачу, а не на токен. Модель за $1,11 на задачу может оказаться разумнее, чем за $31,97, если разница в качестве укладывается в несколько пунктов и человек всё равно проверяет результат.

Есть и ограничения. Задачи закрытые, так что воспроизвести результаты самостоятельно нельзя. Оценивает работу тоже модель, пусть и по экспертным рубрикам. Судья — GPT-6 Luna, и модели OpenAI участвуют в той же таблице, поэтому полностью исключить предвзятость нельзя. Ещё одно уточнение: бенчмарк измеряет качество готовых файлов, а не безопасность или скорость работы. Как ориентир для выбора модели под визуально насыщенную офисную работу он полезен, но финальное решение лучше принимать после прогона на своих файлах.