Fable 5.2 в llm-anthropic: режим max сжёг 128 000 токенов и не выдал ответ

Когда выходит новая модель, первый вопрос разработчика прост: как её быстро попробовать? Саймон Уиллисон, автор утилиты llm, ответил на него в день релиза. Anthropic выпустила Fable 5.2 и Mythos 5.2, а в плагине llm-anthropic версии 0.31 они уже доступны. Заодно он нашёл неприятную особенность, которую стоит знать всем, кто собирается гонять модель на максимальных настройках.

Как попробовать за минуту

llm — это консольная утилита, которая даёт единый интерфейс к разным языковым моделям. Плагин llm-anthropic подключает к ней модели Anthropic. Чтобы запустить Fable 5.2, нужны четыре шага: установить llm через uv, поставить плагин, сохранить API-ключ Anthropic и выполнить команду с именем модели claude-fable-5.2.

Для проверки Уиллисон использует свой фирменный тест: попросить модель нарисовать SVG-картинку пеликана на велосипеде. Это удобно, потому что задача требует и пространственного мышления, и аккуратной разметки, а результат видно глазами сразу. Конечно, это не научный бенчмарк, но быстрый индикатор того, насколько модель справляется с нестандартной задачей.

Пять уровней рассуждений и один сбой

У Fable 5.2 пять уровней усилия на рассуждения: low, medium, high, xhigh и max. Чем выше уровень, тем больше токенов модель тратит на размышления перед ответом. Уиллисон прогнал запрос на каждом из них.

Лучшим оказался xhigh. На картинке ноги расположены с правильной стороны велосипеда, рама нарисована хорошо, клюв с мешком выглядит убедительно. Есть и огрехи: странные маленькие пальцы на руле, а мешок чуть смещён относительно верхней части клюва. В целом результат хороший.

А вот max картинку не вернул вовсе. Модель потратила 128 000 токенов на размышления и упёрлась в лимит, так и не дойдя до ответа. По сути, она передумала задачу до поломки.

Важная деталь: это не первый такой случай. Уиллисон наблюдал то же самое у Opus 5.5. Но для линейки Fable это новость. Fable 5 и Fable 5.1 на уровне max справлялись нормально и отдавали картинки без проблем. Значит, это регрессия в поведении именно версии 5.2, хотя на одном тесте делать окончательные выводы рано.

Что с этим делать на практике

Первый вывод: максимальный уровень рассуждений не равен лучшему результату. Он дороже, медленнее и, как видим, может вообще не дать ответа. Если вы строите продукт на Fable 5.2, начинайте с high или xhigh и поднимайтесь выше только там, где это измеримо улучшает качество.

Второй вывод: всегда закладывайте обработку пустого ответа. Если модель исчерпала лимит токенов на рассуждениях, ваш код должен уметь это распознать и повторить запрос с меньшим уровнем усилия, а не падать или показывать пользователю пустоту. Отдельно стоит следить за стоимостью: 128 000 токенов впустую — это реальные деньги, особенно при массовых вызовах.

Третий вывод: при переходе на новую версию модели прогоняйте собственные регрессионные тесты на всех режимах, которые используете. То, что работало в 5.1, в 5.2 может вести себя иначе.

Ограничения

Это наблюдение одного человека на одной задаче. Мы не знаем, насколько часто сбой воспроизводится на других запросах, и Anthropic пока никак его не комментировала. Возможно, проблема решится настройкой лимитов или обновлением. Но как сигнал для осторожности этого достаточно: проверяйте max на своих задачах, прежде чем включать его в продакшене.