ThinkJev hace que la IA piense solo en las preguntas difíciles: un 28% menos de tokens

Cuando un modelo de lenguaje está integrado en un servicio, su respuesta suele leerla un programa, no una persona. Por ejemplo, para decidir a qué cola enviar una solicitud, si un mensaje infringe las normas o si un registro extraído cumple una condición. Los investigadores de la empresa china Fujian Bosssoft lo llaman decisión tipada: la respuesta es una letra de un conjunto cerrado de opciones, y cada opción lleva asociada una probabilidad en la que el código puede apoyarse.

Su sistema, ThinkJev, decide cuándo basta con que el modelo responda al instante y cuándo necesita pensar. La cifra principal: en las tareas difíciles el razonamiento se detiene antes y consume un 28% menos de tokens, mientras que la precisión baja del 82,7% al 81,6%.

Dos velocidades en un mismo modelo

El problema le resulta familiar a cualquiera que haya construido sistemas así. La respuesta rápida es una sola pasada por la red: unos 100 ms para procesar la consulta y unos 53 ms para leer la respuesta con Qwen3.5-4B en una sola GPU. Pero en tareas de varios pasos suele fallar. Los autores montaron su propio conjunto de pruebas: suma de fechas, recuentos según condiciones, cadenas de reglas, negaciones anidadas, aritmética, cuadrículas lógicas, alcanzabilidad en grafos, horarios y problemas de ajedrez, en inglés y chino. Con respuesta rápida, Qwen3.5-27B acierta el 52,3% (4B, el 40,3%); tras razonar, el 87,5%. A cambio, el razonamiento se alarga durante segundos.

El truco está en que Qwen3.5 es un modelo híbrido: puede responder de inmediato o después de un bloque de razonamiento. En ambos modos la consulta es idéntica hasta ese bloque, y la respuesta se lee siempre del mismo lugar: de las probabilidades de las letras A, B, C… Así, un solo modelo ofrece dos «sistemas»:

• el sistema 1 lee las letras tras un bloque de razonamiento vacío, es decir, de inmediato;
• el sistema 2 lee esas mismas letras tras una «reflexión» generada.

El modelo procesa una sola vez la parte común de la consulta. La respuesta rápida se lee de una copia de la caché, mientras que el razonamiento continúa sobre el original. La copia es necesaria porque en Qwen3.5 las capas de atención completa se combinan con capas Gated DeltaNet, y el estado de estas últimas no se puede revertir. Al escalar la tarea al sistema 2 no hay que reprocesar la consulta. Las probabilidades de ambos sistemas tienen el mismo formato, y el código las recibe de la misma manera. No se analiza el texto de la respuesta, por lo que no existen respuestas inválidas.

Garantía de error y respuesta con cualquier presupuesto

Primero hay que decidir qué tareas pueden resolverse sin razonar. El umbral de confianza se calibra sobre una muestra etiquetada con el método Learn-then-Test, que garantiza que la proporción de errores entre las respuestas rápidas aceptadas no superará el objetivo fijado. Las tareas del mismo tipo generadas con una misma plantilla cuentan como un solo ejemplo, para que los duplicados no inflen la garantía. Para corregir la tendencia del modelo a preferir ciertas posiciones de la lista, cada opción se lee varias veces con un desplazamiento cíclico de la lista y se promedian los resultados.

Resultados con un objetivo del 5% sobre 8359 decisiones de prueba:

• Qwen3.5-27B responde por sí sola el 24,5% de las tareas, con un error real del 3,9%;
• en los modelos más pequeños, Qwen3.5-4B y 9B, esa proporción es bastante más modesta, y con los objetivos más estrictos no asumen ninguna decisión;
• con Qwen3.8-27B, en el objetivo más laxo el error en la prueba es ligeramente superior al objetivo.

Después queda por resolver la longitud del razonamiento. Las letras pueden leerse tras cualquier número de tokens de la «reflexión»: se interrumpe el razonamiento, se añade la frase de parada anticipada prevista por Qwen y se leen las probabilidades. Una sola «reflexión» da respuesta con cualquier presupuesto, y un presupuesto cero equivale al sistema 1. La política «en cualquier momento» simplemente se detiene en el primer punto de control en el que la respuesta es fiable. En el resto de las tareas, esto da un 81,6% de precisión frente al 82,7% con razonamiento completo, con un consumo del 72% de los tokens.

Hay además una observación incómoda. Si se decide si pensar o no basándose únicamente en la confianza del sistema 1, el ahorro es menor. Las tareas en las que la respuesta rápida duda más no son necesariamente las que el razonamiento corrige. Predecir dónde se equivocará el modelo y predecir dónde ayudará la reflexión son problemas distintos.

Qué aporta en la práctica

En las tareas públicas del benchmark independiente JevBench, pensado para servicios de decisiones tipadas, Qwen3.5-27B razona en el 29,4% de los casos. Su precisión no difiere de la de dos API comerciales con razonamiento, aunque los autores califican esta comparación de preliminar. El nombre alude al formato de consultas del modelo comercial Jev de TypeSafe: el servidor ThinkJev acepta esas consultas, de modo que su SDK puede dirigirse a un modelo local. El proyecto no tiene relación con TypeSafe, y el propio Jev no se ha probado.

La conclusión para los ingenieros es esta. Si ya se utiliza un modelo híbrido abierto, el enrutamiento «responder rápido o pensar» puede obtenerse sin reentrenamiento, con un límite de error en la rama rápida y sin un segundo modelo. La limitación: el método solo funciona con conjuntos cerrados de opciones, no con texto libre. El código y los generadores de datos están abiertos en GitHub (ding-xiaolu/ThinkJev).