Un modelo barato como filtro antes de Claude Sonnet: la formulación de la pregunta dio un AUC de 0,95

Casi la mitad de los materiales que el autor guarda en Telegram para su blog no le sirve al blog. Aun así, Claude Sonnet escribe puntualmente una vez al día un análisis completo de cada uno y gasta tokens en vano. La solución sigue la lógica de una cascada clásica: poner delante del modelo caro uno barato que decida si merece la pena llamarlo. El autor describió en Habr los resultados de las dos primeras semanas.

El problema y el esquema

La situación de partida le resultará familiar a cualquiera que mantenga un pipeline de contenido con LLM. Guardar en «Mensajes guardados» es fácil, y allí acaba de todo: noticias, enlaces, artículos útiles y otros que no tanto. Después entra Sonnet y prepara un análisis de cada elemento. Una parte de ese flujo no llegará al blog bajo ninguna circunstancia, pero se paga el análisis de todos.

Delante de Sonnet, el autor colocó un modelo pequeño al que llama Jev. No emite un veredicto de «lo cojo» o «no lo cojo». Responde con la probabilidad de que el material sea adecuado para el blog. El umbral de corte se puede mover sin tocar el modelo. En una tarea donde el coste del error es desigual, esto resulta más cómodo que una respuesta binaria: perder un buen material sale más caro que un análisis de más.

La pregunta importa más que el modelo

La conclusión principal de la publicación es que la formulación de la pregunta al filtro influyó en el resultado más que la elección del propio modelo. Según la métrica AUC, las dos variantes de planteamiento se separaron en 0,46 y 0,95.

La primera cifra es peor que lanzar una moneda: un AUC de 0,5 significa que el modelo no distingue lo necesario de lo innecesario. La segunda se acerca a la de un buen clasificador. La diferencia apareció sin cambiar los pesos y sin reentrenar, solo por cómo se plantea la pregunta. Para quien duda entre «usar un modelo más grande» y «reescribir el prompt», es un argumento a favor de lo segundo. Conviene medir primero el AUC sobre una muestra etiquetada y solo después cambiar de modelo.

Qué se sabe a partir del anuncio

• Flujo de entrada: todo lo que el autor guarda en Telegram.
• Modelo caro: Claude Sonnet, una pasada al día.
• Proporción innecesaria: casi la mitad de los guardados para el blog.
• Filtro: el modelo barato Jev, con respuesta en forma de probabilidad.
• Calidad: AUC de 0,46 frente a 0,95 según la formulación de la pregunta.
• Observación: registro de dos semanas de funcionamiento.
• Protección: el código incluye salvaguardas, cuyo diseño se detalla en el artículo completo.

El anuncio no incluye varios detalles: precios, el umbral exacto, el tamaño del conjunto etiquetado y la proporción de falsos rechazos. Sin ellos no se puede evaluar el ahorro real, y para comprobarlo hace falta el texto completo.

Qué se puede aprovechar

El esquema se puede trasladar a cualquier pipeline en el que un modelo caro procese un flujo heterogéneo: análisis de solicitudes, moderación, triaje de consultas, preparación de resúmenes. Estos son algunos pasos prácticos que se desprenden de la experiencia del autor:

1. Etiquete a mano al menos una muestra pequeña y calcule el AUC antes del lanzamiento. Sin esto, un error en la formulación pasará inadvertido. 2. Pida al filtro una probabilidad, no un sí o un no. Así el umbral se ajusta por separado. 3. Incorpore salvaguardas para cuando el filtro no esté disponible, responda de forma extraña o descarte demasiado. Un comportamiento seguro por defecto es mejor que perder materiales en silencio. 4. Lleve un registro de las decisiones del filtro y revise de vez en cuando lo descartado. Dos semanas de registros muestran lo que no se ve al principio.

El método no requiere ni modelos nuevos ni infraestructura. Basta con una llamada barata antes de la cara y disciplina en las mediciones.