MiniJev lee los logits y acelera 5,4 veces la clasificación de consultas

Si un modelo debe elegir un departamento de soporte, asignar una puntuación de urgencia o responder sí o no, no necesita producir una respuesta textual completa. Sin embargo, un flujo convencional con LLM sigue obligándolo a generar JSON de forma secuencial: llaves, claves, comillas y valores. Cada token nuevo debe esperar al anterior, aunque la propia decisión a menudo ya sea visible en la distribución de probabilidades una vez procesado el prompt.

El autor del prototipo MiniJev propone leer esa decisión directamente de los logits, los números que el modelo calcula antes de elegir el siguiente token. El enfoque recuerda a la interfaz Jev de TypeSafe AI, pero no intenta reproducir el modelo en sí: el experimento utiliza el modelo convencional Qwen 2.5 1.5B Instruct sin ajuste fino. Todo se ejecuta en una Nvidia T4 gratuita en Google Colab.

Cómo obtener una decisión sin generar texto

Imaginemos esta solicitud: «Me cobraron dos veces; devuélvanme uno de los pagos». El sistema plantea al modelo tres preguntas: si el cliente está enfadado, qué departamento debe atender la solicitud y qué nivel de urgencia tiene. Para cada pregunta se enumeran de antemano las opciones, identificadas con las letras A, B, C y siguientes.

Después de una sola pasada, el modelo ya dispone de los logits del posible primer token de la respuesta. MiniJev conserva únicamente los logits de las letras válidas, aplica softmax y obtiene una distribución de probabilidades. Para el departamento, el resultado podría ser: facturación — 99,99%, soporte técnico — 0,005%, ventas — 0,001%. No es necesario generar llaves ni nombres de campos.

El código tiene en cuenta dos matices prácticos. Primero, el tokenizador puede codificar de forma distinta una letra con y sin un espacio inicial, por lo que se combinan las probabilidades de las variantes válidas de un solo token. Segundo, a veces el modelo prefiere la primera o la última opción independientemente de su significado. Para contrarrestar este sesgo, las opciones se reordenan cíclicamente y después se promedian sus probabilidades logarítmicas. El coste son prompts y cálculos adicionales, sobre todo cuando hay muchas opciones.

Hay velocidad, pero obtener probabilidades fiables exige más trabajo

En una solicitud de prueba, el tiempo mediano de MiniJev fue de 0,1959 segundos. Generar un JSON equivalente llevó 1,0514 segundos, aproximadamente 5,4 veces más. Es una referencia útil, pero no un resultado universal: la medición se realizó con un único modelo, una única tarjeta gráfica y un único tipo de consulta. La comparación también depende del procesamiento por lotes, la longitud del JSON y el número de permutaciones de las opciones.

Las probabilidades sin procesar no pueden interpretarse automáticamente como confianza real. El modelo fue entrenado para predecir el siguiente token, no para indicar con qué frecuencia acierta. El autor comprobó la calibración con 600 ejemplos de SST-2: utilizó 200 para ajustar Platt scaling y 400 para las pruebas. La precisión se mantuvo en el 92,7%, mientras que el error de calibración esperado bajó del 6,8% al 2,5%. El resultado es prometedor, pero corresponde a un solo conjunto de datos y una sola partición.

Dónde aplicarlo

El enfoque sirve para enrutar solicitudes, generar indicadores de moderación, detectar intenciones, elegir la siguiente acción de un agente y asignar puntuaciones en escalas fijas. Garantiza que la respuesta permanezca dentro de la lista especificada, pero no garantiza que sea verdadera: el modelo puede elegir con confianza una opción incorrecta.

La conclusión práctica es sencilla. Si el conjunto de respuestas se conoce de antemano, primero conviene probar la lectura de logits en lugar de generar texto estructurado. Después hay que recopilar al menos varios cientos de ejemplos etiquetados del entorno correspondiente, calibrar las probabilidades y medir no solo la latencia, sino también la precisión, el ECE y el coste de las permutaciones adicionales. Esta técnica no sirve para respuestas abiertas ni explicaciones complejas, donde la generación sigue siendo necesaria.