Meta выводит Muse Wonder Full в топ-3 на 6 из 10 бенчмарков, но задача стала втрое дороже

Meta вернулась в разговор о лучших моделях мира. Новые модели семейства Muse Wonder, судя по сводке The Decoder, занимают места в первой тройке на шести из десяти бенчмарков. Самый заметный отрыв от прежних результатов Meta приходится на агентные задачи, то есть на сценарии, где модель сама строит план, вызывает инструменты и доводит многошаговую работу до результата. За это пришлось заплатить: стоимость выполнения одной задачи выросла почти втрое.

Что показали тесты

Шесть мест в топ-3 из десяти возможных означают, что модель стала конкурентоспособной на широком фронте, а не выиграла в одной узкой дисциплине. Одновременно это значит, что на четырёх бенчмарках Muse Wonder Full в тройку не попала. Какие именно это тесты, в доступной сводке не сказано, и это первое, что стоит выяснить по первоисточникам.

Ключевые цифры, которые известны на сейчас:

• Результат: топ-3 на 6 из 10 бенчмарков.
• Сильнейшая сторона: агентные задачи, где прирост максимальный.
• Стоимость: цена выполнения одной задачи выросла почти в 3 раза.
• Линейка: несколько моделей Muse Wonder, старшая версия называется Full.
• Не раскрыто в сводке: размер модели, контекстное окно, тарифы за токен, условия доступа и список бенчмарков.

Почему «цена за задачу» важнее «цены за токен»

Метрика стоимости задачи считается иначе, чем тариф за миллион токенов. Она складывается из тарифа, количества токенов на рассуждения, числа вызовов инструментов, повторных попыток и длины итоговой цепочки действий. Поэтому рост почти в три раза не обязательно означает, что Meta подняла прайс втрое. Возможно, модель просто тратит больше шагов и токенов на каждую задачу. Это предположение, а не установленный факт: разложения стоимости в сводке нет.

Для агентных сценариев такой компромисс типичен. Чем дольше модель думает и чем больше проверяет собственные действия, тем выше шанс довести задачу до конца, и тем выше счёт. Вопрос в том, окупается ли прирост качества. Если модель закрывает заметно больше задач с первого раза, то стоимость одной успешно решённой задачи может вырасти куда меньше, чем стоимость попытки. Если выигрыш на бенчмарке измеряется единицами процентов, тройной рост расходов выглядит тяжело.

Что проверить перед внедрением

Пока полные данные не опубликованы, разумнее всего отнестись к результатам как к заявке на место в верхнем эшелоне, которую нужно подтвердить на собственных задачах. Практический порядок действий такой:

• Возьмите 30–50 реальных рабочих задач, а не публичный бенчмарк, и прогоните их через Muse Wonder Full и текущую модель.
• Считайте стоимость успешно решённой задачи, а не стоимость запроса. Учитывайте повторные попытки и вызовы инструментов.
• Найдите четыре бенчмарка, где модель не вошла в тройку, и сопоставьте их с вашим профилем нагрузки. Если они про кодинг или длинный контекст, а вы работаете именно с этим, выводы будут другими.
• Уточните условия доступа: через какой API, с какими лимитами и в каком регионе модель доступна.
• Для массовых и простых сценариев сохраните более дешёвую модель, а Muse Wonder Full оставьте для сложных агентных цепочек, где ошибка стоит дороже.

Главный итог на сегодня простой: у Meta снова есть модель, которую нельзя игнорировать при выборе фронтирной системы. Но решать, стоит ли она трёх своих цен, придётся по цифрам, которых пока нет в открытом доступе.