Fable 5.2 no llm-anthropic: o modo max queimou 128 000 tokens e não entregou resposta

Quando um novo modelo é lançado, a primeira pergunta do desenvolvedor é simples: como experimentá-lo rapidamente? Simon Willison, autor do utilitário llm, respondeu a ela no dia do lançamento. A Anthropic lançou o Fable 5.2 e o Mythos 5.2, e na versão 0.31 do plugin llm-anthropic eles já estão disponíveis. De quebra, ele encontrou uma característica desagradável que deve ser conhecida por quem pretende usar o modelo nas configurações máximas.

Como testar em um minuto

llm é um utilitário de console que oferece uma interface única para diferentes modelos de linguagem. O plugin llm-anthropic conecta a ele os modelos da Anthropic. Para executar o Fable 5.2, são necessários quatro passos: instalar o llm via uv, instalar o plugin, salvar a chave de API da Anthropic e executar um comando com o nome do modelo claude-fable-5.2.

Para o teste, Willison usa o seu teste característico: pedir ao modelo que desenhe uma imagem SVG de um pelicano andando de bicicleta. É conveniente porque a tarefa exige tanto raciocínio espacial quanto marcação cuidadosa, e o resultado é visível a olho nu imediatamente. Claro, não é um benchmark científico, mas é um indicador rápido de como o modelo lida com uma tarefa fora do padrão.

Cinco níveis de raciocínio e uma falha

O Fable 5.2 tem cinco níveis de esforço de raciocínio: low, medium, high, xhigh e max. Quanto mais alto o nível, mais tokens o modelo gasta pensando antes de responder. Willison executou a consulta em cada um deles.

O melhor foi o xhigh. Na imagem, as pernas estão no lado correto da bicicleta, o quadro está bem desenhado e o bico com a bolsa parece convincente. Há também falhas: dedinhos estranhos no guidão e a bolsa ligeiramente deslocada em relação à parte superior do bico. No geral, o resultado é bom.

Já o max não devolveu imagem alguma. O modelo gastou 128 000 tokens raciocinando e bateu no limite sem chegar a uma resposta. Na prática, pensou demais na tarefa até quebrar.

Um detalhe importante: este não é o primeiro caso. Willison observou o mesmo com o Opus 5.5. Mas para a linha Fable isso é novidade. O Fable 5 e o Fable 5.1 funcionavam normalmente no nível max e entregavam imagens sem problemas. Ou seja, trata-se de uma regressão no comportamento especificamente da versão 5.2, embora, com um único teste, seja cedo para tirar conclusões definitivas.

O que fazer na prática

Primeira conclusão: o nível máximo de raciocínio não equivale ao melhor resultado. É mais caro, mais lento e, como vimos, pode não dar resposta alguma. Se você constrói um produto sobre o Fable 5.2, comece com high ou xhigh e suba só onde isso melhorar a qualidade de forma mensurável.

Segunda conclusão: sempre preveja o tratamento de uma resposta vazia. Se o modelo esgotou o limite de tokens no raciocínio, seu código deve saber reconhecer isso e repetir a requisição com um nível de esforço menor, em vez de falhar ou mostrar um vazio ao usuário. O custo merece atenção à parte: 128 000 tokens desperdiçados são dinheiro de verdade, especialmente em chamadas em massa.

Terceira conclusão: ao migrar para uma nova versão do modelo, execute seus próprios testes de regressão em todos os modos que você usa. O que funcionava na 5.1 pode se comportar de outra forma na 5.2.

Limitações

É a observação de uma pessoa em uma única tarefa. Não sabemos com que frequência a falha se reproduz em outras consultas, e a Anthropic ainda não a comentou. É possível que o problema seja resolvido com ajuste de limites ou uma atualização. Mas, como sinal de cautela, isso basta: teste o max nas suas próprias tarefas antes de ativá-lo em produção.