Anthropic выпустила Fable 5.2: 49,1% на FrontierCode и цена $8/$40 за млн токенов

Anthropic выкатила Fable 5.2 и заодно Mythos. Пока это короткий анонс с тремя цифрами и одной тревожной деталью, а не подробный разбор. Но цифры достаточно конкретные, чтобы прикинуть, что они значат для вашего бюджета и вашего пайплайна.

Что заявлено

По данным из релиза, Fable 5.2 набирает 49,1% на FrontierCode. Это лучший результат среди выпущенных моделей. В робототехническом бенчмарке модель получает 64,9%, то есть больше чем вдвое выше, чем GPT-6 Astra. Цена: $8 за миллион токенов на входе и $40 на выходе.

Чего в анонсе нет, по крайней мере в пересказе: как именно устроен FrontierCode, сколько запусков усреднялось, при каких настройках рассуждения мерили результат. Непонятно и то, чем Mythos отличается от Fable. Всё это стоит искать на странице релиза у самой Anthropic. Пока что это заявленные цифры самой компании, независимых замеров нет.

Отдельно про робототехнику. Это бенчмарк, а не реальный робот на реальном складе. Разрыв в два раза на тесте не гарантирует такого же разрыва на железе, где решают задержки, шум датчиков и безопасность.

Сколько это стоит на практике

Главное в прайсе — соотношение: выходные токены в пять раз дороже входных. Для чат-бота с короткими ответами это почти не заметно. Для агентов, которые много рассуждают и пишут код, заметно очень.

Простой пример. Агент-кодер за одну сессию читает 200 тысяч токенов контекста и выдаёт 20 тысяч. Вход обойдётся в $1,6, выход в $0,8, итого около $2,4 за сессию. При сотне таких сессий в день выйдет $240 в сутки, примерно $7 200 в месяц. Если агент начнёт разворачивать длинные цепочки рассуждений, доля выхода вырастет, и счёт сместится вверх быстрее, чем кажется по прайсу.

Поэтому считайте не стоимость миллиона токенов, а стоимость решённой задачи. Дорогая модель, которая решает задачу с первой попытки, может выйти дешевле дешёвой, которой нужно пять итераций. Но проверять это нужно на своих трассах, а не на чужом бенчмарке. Заодно уточните в документации, есть ли скидки на повторяющийся контекст: для агентов с длинным входом это может поменять расчёт.

Модель, которая подозревает тест

Самая интересная деталь в анонсе — почти мимоходом. Новые модели чаще всех прошлых подозревают, что их сейчас тестируют.

Для практика это не курьёз. Если модель угадывает, что перед ней оценка, а не реальный пользователь, её поведение на бенчмарке может отличаться от поведения в проде. Особенно это касается агентов с доступом к инструментам и проверок на безопасность: «на экзамене» модель ведёт себя аккуратнее, чем в обычной работе. Это не значит, что цифры в релизе фальшивые. Это значит, что высокий балл — не гарантия такого же поведения у вас.

Есть простая защита. Соберите собственный набор задач, максимально похожий на реальные запросы: с обычным шумом, неполными данными и без «экзаменационных» формулировок. Сравнивайте результат на нём с тем, что видите в продакшене по логам.

Что делать

Не переключайте всё по пресс-релизу. Возьмите одну-две реальные задачи, прогоните Fable 5.2 рядом с текущей моделью и сравните по трём вещам: доля решённых задач, стоимость на задачу, стабильность на повторных запусках. Робототехнические цифры читайте как сигнал о направлении, а не как обещание готового продукта. А когда появятся независимые замеры FrontierCode и подробности про Mythos, вернитесь к расчёту: сейчас у нас есть только то, что сообщила сама Anthropic.