ThinkJev ne fait réfléchir l'IA que sur les questions difficiles : 28% de tokens en moins

Quand un modèle de langage est intégré à un service, sa réponse est souvent lue non par un humain, mais par un programme. Par exemple : dans quelle file router une demande, un message enfreint-il les règles, un enregistrement extrait remplit-il une condition. Les chercheurs de la société chinoise Fujian Bosssoft appellent cela une décision typée : la réponse est une seule lettre issue d'un ensemble fermé d'options, et chaque option possède une probabilité sur laquelle le code peut s'appuyer.

Leur système ThinkJev détermine quand un tel modèle peut répondre instantanément et quand il doit réfléchir. Le chiffre clé : sur les tâches difficiles, le raisonnement s'arrête plus tôt et consomme 28% de tokens en moins, tandis que la précision passe de 82,7% à 81,6%.

Deux vitesses dans un seul modèle

Quiconque a construit ce type de systèmes connaît le problème. La réponse rapide représente un seul passage dans le réseau : environ 100 ms pour analyser la requête et environ 53 ms pour lire la réponse avec le modèle Qwen3.5-4B sur une seule carte graphique.

Mais sur les tâches à plusieurs étapes, elle se trompe souvent. Les auteurs ont constitué leur propre jeu de données : addition de dates, comptage sous conditions, chaînes de règles, négations imbriquées, arithmétique, grilles logiques, accessibilité dans des graphes, plannings et problèmes d'échecs, en anglais et en chinois. Sur ce jeu, Qwen3.

5-27B donne la bonne réponse dans 52,3% des cas en mode rapide (4B : 40,3%), et dans 87,5% après réflexion. En contrepartie, la réflexion s'étire sur plusieurs secondes.

L'astuce tient à la nature de Qwen3.5, un modèle hybride : il sait répondre immédiatement ou après un bloc de raisonnement. Dans les deux modes, la requête est identique jusqu'à ce bloc, et la réponse est lue au même endroit : dans les probabilités des lettres A, B, C… Un seul modèle fournit donc deux « systèmes » :

• le système 1 lit les lettres après un bloc de raisonnement vide, c'est-à-dire immédiatement ;
• le système 2 lit les mêmes lettres après une « pensée » générée.

Le modèle ne traite qu'une seule fois la partie commune de la requête. La réponse rapide est lue sur une copie du cache, tandis que le raisonnement se poursuit sur l'original. La copie est nécessaire parce que Qwen3.5 mêle des couches d'attention complète et des couches Gated DeltaNet, dont l'état ne peut pas être ramené en arrière. La requête n'est pas retraitée lorsque la tâche est transmise « à l'étage supérieur ». Les probabilités des deux systèmes ont la même forme, et le code les récupère de la même manière. Le texte de la réponse n'est pas analysé : il n'y a donc aucune réponse invalide.

Une garantie sur l'erreur et une réponse quel que soit le budget

Il faut d'abord décider quelles tâches peuvent se passer de réflexion. Le seuil de confiance est calibré sur un échantillon annoté avec la méthode Learn-then-Test. Elle garantit que la part d'erreurs parmi les réponses rapides acceptées ne dépassera pas l'objectif fixé. Les tâches du même type issues d'un même gabarit comptent pour un seul exemple, afin que les doublons ne gonflent pas la garantie. Pour neutraliser le biais du modèle en faveur de certaines positions dans la liste, chaque option est lue plusieurs fois avec un décalage circulaire de la liste, puis les résultats sont moyennés.

Résultats avec un objectif de 5% sur 8359 décisions de test :

• Qwen3.5-27B répond seul à 24,5% des tâches, avec une erreur réelle de 3,9% ;
• pour les petits Qwen3.5-4B et 9B, cette part est nettement plus modeste, et sur les objectifs les plus stricts, ils ne prennent aucune décision à leur charge ;
• pour Qwen3.8-27B, sur l'objectif le plus souple, l'erreur mesurée sur le test est légèrement supérieure à l'objectif.

Vient ensuite la question de la longueur du raisonnement. Les lettres peuvent être lues après n'importe quel nombre de tokens de « pensée » : on interrompt le raisonnement, on ajoute la phrase d'arrêt anticipé prévue par Qwen, puis on lit les probabilités. Une seule « pensée » fournit ainsi une réponse quel que soit le budget, et un budget nul correspond au système 1. La politique « à tout moment » s'arrête simplement au premier point de contrôle où la réponse est assurée. Pour les tâches restantes, cela donne 81,6% de précision contre 82,7% avec réflexion complète, en consommant 72% des tokens.

Une observation moins plaisante : si l'on décide de réfléchir ou non uniquement d'après la confiance du système 1, l'économie est moindre. Les tâches sur lesquelles la réponse rapide doute le plus ne sont pas forcément celles que le raisonnement corrige. Prédire où le modèle se trompera et prédire où la réflexion aidera sont deux problèmes différents.

Ce que cela donne en pratique

Sur les tâches publiques de JevBench, un benchmark indépendant pour les services de décisions typées, Qwen3.5-27B réfléchit dans 29,4% des cas. Sa précision ne se distingue pas de celle de deux API commerciales avec raisonnement, mais les auteurs qualifient cette comparaison de préliminaire. Le nom renvoie au format de requêtes du modèle commercial Jev de TypeSafe : le serveur ThinkJev accepte ces requêtes, de sorte que son SDK peut s'adresser à un modèle local. Le projet n'a aucun lien avec TypeSafe, et Jev lui-même n'a pas été testé.

Pour les ingénieurs, la conclusion est la suivante. Si vous exploitez déjà un modèle hybride ouvert, le routage « répondre vite ou réfléchir » est possible sans réentraînement, avec une borne d'erreur sur la branche rapide et sans second modèle. Limite : la méthode ne fonctionne que pour des ensembles d'options fermés, pas pour du texte libre. Le code et les générateurs de données sont ouverts sur GitHub (ding-xiaolu/ThinkJev).