Fable 5.2 en llm-anthropic: el modo max quemó 128 000 tokens y no devolvió respuesta

Cuando sale un nuevo modelo, la primera pregunta del desarrollador es sencilla: ¿cómo probarlo rápido? Simon Willison, autor de la utilidad llm, la respondió el mismo día del lanzamiento. Anthropic lanzó Fable 5.2 y Mythos 5.2, y en la versión 0.31 del plugin llm-anthropic ya están disponibles. De paso, encontró una peculiaridad desagradable que conviene conocer a quien vaya a usar el modelo con la configuración máxima.

Cómo probarlo en un minuto

llm es una utilidad de consola que ofrece una interfaz única para distintos modelos de lenguaje. El plugin llm-anthropic le conecta los modelos de Anthropic. Para ejecutar Fable 5.2 hacen falta cuatro pasos: instalar llm con uv, instalar el plugin, guardar la clave API de Anthropic y ejecutar un comando con el nombre del modelo claude-fable-5.2.

Para la prueba, Willison usa su test característico: pedir al modelo que dibuje una imagen SVG de un pelícano en bicicleta. Es práctico porque la tarea exige tanto razonamiento espacial como un marcado cuidadoso, y el resultado se ve a simple vista. Por supuesto, no es un benchmark científico, pero sí un indicador rápido de lo bien que el modelo resuelve una tarea fuera de lo común.

Cinco niveles de razonamiento y un fallo

Fable 5.2 tiene cinco niveles de esfuerzo de razonamiento: low, medium, high, xhigh y max. Cuanto más alto es el nivel, más tokens gasta el modelo pensando antes de responder. Willison ejecutó la consulta en cada uno de ellos.

El mejor fue xhigh. En la imagen, las patas están en el lado correcto de la bicicleta, el cuadro está bien dibujado y el pico con la bolsa resulta convincente. También hay defectos: unos deditos extraños en el manillar y la bolsa algo desplazada respecto a la parte superior del pico. En conjunto, el resultado es bueno.

Pero max no devolvió ninguna imagen. El modelo gastó 128 000 tokens en razonar y chocó con el límite sin llegar a una respuesta. En esencia, pensó la tarea hasta romperla.

Un detalle importante: no es el primer caso. Willison observó lo mismo en Opus 5.5. Pero para la línea Fable es una novedad. Fable 5 y Fable 5.1 funcionaban bien en el nivel max y entregaban imágenes sin problemas. Es decir, se trata de una regresión en el comportamiento específicamente de la versión 5.2, aunque con una sola prueba es pronto para sacar conclusiones definitivas.

Qué hacer en la práctica

Primera conclusión: el nivel máximo de razonamiento no equivale al mejor resultado. Es más caro, más lento y, como vemos, puede no dar ninguna respuesta. Si construyes un producto sobre Fable 5.2, empieza con high o xhigh y sube solo donde mejore de forma medible la calidad.

Segunda conclusión: prevé siempre el tratamiento de una respuesta vacía. Si el modelo agotó el límite de tokens en el razonamiento, tu código debe saber reconocerlo y repetir la solicitud con un nivel de esfuerzo menor, en lugar de fallar o mostrar un vacío al usuario. El coste merece atención aparte: 128 000 tokens desperdiciados son dinero real, sobre todo en llamadas masivas.

Tercera conclusión: al pasar a una nueva versión del modelo, ejecuta tus propias pruebas de regresión en todos los modos que uses. Lo que funcionaba en 5.1 puede comportarse de otra manera en 5.2.

Limitaciones

Es la observación de una persona en una sola tarea. No sabemos con qué frecuencia se reproduce el fallo con otras consultas, y Anthropic todavía no lo ha comentado. Es posible que el problema se resuelva ajustando los límites o con una actualización. Pero como señal de cautela basta: prueba max en tus propias tareas antes de activarlo en producción.