Jev antes de Claude Sonnet: cómo reformular la pregunta elevó el AUC a 0,95

El Laboratorio y el problema de los análisis caros y vacíos

El autor gestiona un flujo de trabajo llamado el Laboratorio. Todo lo interesante del día —reels, publicaciones, enlaces a repositorios— se guarda en Telegram. Una vez al día, un script recoge lo nuevo y Claude Sonnet escribe un análisis para cada elemento. Después, una segunda pasada, actuando como editor, decide si publicar el análisis o enviarlo al archivo.

El problema: entre los favoritos se mezclan guías útiles, mensajes de trabajo, notas personales e imágenes sin una sola palabra. Al etiquetar 67 elementos, 28 resultaron ser prescindibles. Sonnet escribía fielmente un análisis completo para cada uno de esos elementos de descarte, solo para que el editor lo desechara: una pérdida pura de tiempo y de cuota. Sonnet funciona con una suscripción de Claude Code con límite semanal, así que hacía falta un filtro barato para descartar la basura evidente antes de que llegara al modelo grande.

Jev, de TypeSafe: un modelo para preguntas cerradas

La solución fue Jev, un modelo del startup TypeSafe lanzado el 15 de septiembre de 2026. Está diseñado para preguntas cerradas: se envía un texto junto con un diccionario de preguntas y, en lugar de un párrafo de texto, se recibe valores con probabilidades. La entrada cuesta $0,042 por millón de tokens; la salida es gratuita.

Tres tipos de preguntas:

• noul: devuelve la probabilidad de "sí", de 0 a 1
• choice: elige de una lista enviada (hasta 255 opciones) y devuelve la probabilidad de cada opción más un nivel de confianza
• score: puntúa en una escala ordenada

Todas las preguntas sobre un mismo texto se procesan en una sola pasada. Según las propias pruebas de TypeSafe, las respuestas de Jev coinciden con el resultado de referencia de modelos grandes dos de cada tres veces (68%).

Cuando el autor intentó registrarse, TypeSafe no estaba aceptando nuevos usuarios. Pero Jev está disponible en Cloudflare Workers AI bajo el nombre typesafe/jev, marcado como Zero data retention. Particularidades: solo se puede pagar desde un saldo prepago de AI Gateway, y la respuesta está un nivel más profundo de lo que indica la documentación de TypeSafe (result.result.answers).

La lección principal: la formulación importa más que el modelo

Antes del Laboratorio, el autor había probado Jev en otra tarea: filtrar datos para una base de conocimiento. La primera pregunta era genérica: "¿es este un dato útil?". Sobre el conjunto etiquetado, eso dio un AUC de 0,46, peor que una moneda al aire. Luego reescribió la pregunta para incluir una razón real: "esto trata sobre el mundo real, y no sobre una edición de documento o un detalle técnico". Mismo modelo, mismos textos, y el AUC subió a 0,95. En decisiones de gusto personal, nunca superó 0,72–0,77; ahí Jev solo sirve como prefiltro cauteloso.

El autor trasladó esa regla al Laboratorio: no preguntarle al modelo por la "utilidad" en abstracto, sino enumerar las razones reales por las que un elemento se archiva.

Una especificación para el

Laboratorio: seis categorías en vez de preguntas vagas

En lugar de varias preguntas de sí/no, el Laboratorio usa una única pregunta de tipo choice, con opciones mutuamente excluyentes que reflejan las razones reales de rechazo registradas en el historial del editor:

• guide: se muestra o se nombra una herramienta, servicio, repositorio, prompt, habilidad, configuración o técnica concreta que el lector podría encontrar y replicar. Cuenta aunque sea publicidad
• idea: un esquema, marco conceptual, fórmula o modelo paso a paso que se puede desglosar en puntos
• no_text: casi no hay texto ni discurso, solo un enlace, imagen o foto
• owner_work: trabajo propio del autor —un mensaje a un colega, el borrador de una publicación, un enlace a su propio producto
• personal: contenido personal no relacionado con el trabajo con IA —deporte, familia, salud, vida cotidiana
• no_method: una opinión, afirmación, anuncio o noticia sin ninguna herramienta, técnica o esquema

La probabilidad de "conservar" se calcula como la suma de las probabilidades de guide e idea. Si cae por debajo del umbral de 0,2, el elemento nunca llega a Sonnet.

Dos semanas en producción: $0,0028 y un ahorro real

Entre el 26 de septiembre y el 6 de octubre, el registro muestra 26 llamadas. En conjunto costaron $0,0028, aproximadamente una centésima de centavo por llamada, en textos de entre 90 y 3.100 caracteres. Desde Moscú, las respuestas tardan más que los 70–500 ms declarados (TypeSafe midió desde portátiles en la costa oeste de EE. UU.): mediana de 1,3 segundos, primera llamada de 2 a 9 segundos, llamadas siguientes generalmente por debajo de 1,5 segundos.

En la primera ejecución en producción, el 5 de octubre, Jev descartó un elemento: un archivo multimedia casi sin texto, con una probabilidad de 0,01. El ahorro en dinero es irrisorio, pero el de cuota es notable: antes, cada elemento de ese tipo consumía un análisis completo de Sonnet y una pasada de edición.

Dónde no funciona Jev

Las tareas abiertas que requieren una explicación en lenguaje humano siguen siendo trabajo de un LLM. Las decisiones basadas en gusto personal sin señales claras siguen siendo débiles (el propio AUC de 0,72–0,77 del autor lo confirma). Contar, fechas y textos largos y ruidosos también son puntos flacos: el modelo lee la pregunta de forma literal, cuenta mal y se confunde con las fechas. Los datos sensibles son otra preocupación: los textos pasan por un servicio estadounidense a través de Cloudflare, así que conviene decidir de antemano qué se puede enviar.

Jev funciona bien donde se repite muchas veces la misma pequeña bifurcación, hay señales claras, y un error en una dirección cuesta menos que en la otra. En el caso del autor, se trata de filtrar contenido antes de que llegue a un modelo caro.