MIT : une copie affaiblie apprend à un modèle à raisonner, jusqu'à +13 points de précision

Une équipe du Massachusetts Institute of Technology a trouvé le moyen d'améliorer un modèle de raisonnement sans enseignant externe, sans solutions de référence et sans environnement de vérification. La méthode s'appelle WISD. Elle part d'un modèle d'origine et en fabrique une copie volontairement plus faible, soit en dégradant la précision des poids (quantification), soit en supprimant les plus petits (élagage). L'original est ensuite entraîné sur la différence entre les deux versions. Le résultat le plus marquant concerne Qwen3.5-4B. Sur HMMT 2025, compétition de mathématiques de niveau olympiade organisée par Harvard et le MIT, sa précision passe de 57,7% à 70,5%. Sur LiveCodeBench v6, un ensemble de problèmes de programmation, elle grimpe de 39,1% à 56,7%.

Pourquoi affaiblir un modèle

L'auto-distillation, où un modèle s'entraîne à partir de lui-même, est déjà une pratique courante. Mais les schémas populaires exigent des « informations privilégiées » : solutions de référence, analyses d'experts ou retours d'un environnement. Un tel enseignant en sait plus que l'élève, car il voit un indice. Si vous ne disposez que d'un lot de problèmes sans réponses, ces schémas ne fonctionnent pas.

Les auteurs abordent le problème par l'autre bout. Ce n'est pas l'enseignant qui se renforce. Le modèle d'origine reste le membre fort de la paire, et le partenaire faible est fabriqué artificiellement en dégradant ses poids. L'écart de préférences entre les deux sur chaque token indique dans quel sens améliorer la politique. Une idée proche existait déjà dans les travaux sur le « faible qui enseigne au fort ». La nouveauté tient à ce que les deux modèles proviennent du même checkpoint.

Comment ça marche techniquement

La procédure comporte plusieurs étapes :

• Le modèle d'origine génère des solutions pour des problèmes non annotés. Dans les expériences, il s'agit de 3200 problèmes, avec quatre réponses par problème.
• Deux modèles gelés, l'original et la copie affaiblie, évaluent chaque token de ces réponses dans un contexte identique. Un token reçoit un signal positif si l'original le juge plus probable que la copie faible, et un signal négatif dans le cas inverse.
• L'élève part des poids de l'original et apprend à déplacer la distribution vers les tokens dont le rapport de probabilités est le plus élevé. Les trajectoires et les deux modèles évaluateurs ne changent pas pendant l'entraînement. À l'inférence, seul l'élève tourne : il n'y a aucune copie faible à ses côtés.

La copie se fabrique de deux façons. Aucune ne nécessite de données de calibration ni de fine-tuning :

• Quantification à faible précision. Les poids sont répartis en groupes, et au sein de chacun, les valeurs sont arrondies à un petit nombre de niveaux selon un schéma symétrique.
• Élagage par magnitude. Au sein d'un groupe, les poids inférieurs à un seuil relatif sont mis à zéro, puis la norme de chaque ligne de sortie est ramenée à sa valeur initiale.

Seules les projections de l'attention et des couches entièrement connectées sont dégradées, y compris les experts dans les modèles Mixture-of-Experts. Les embeddings, les têtes de sortie, les normalisations et le routage restent intacts. L'architecture et le tokenizer demeurent identiques, ce qui permet de comparer directement les prédictions de la copie à celles de l'original. Si les deux copies étaient identiques, il n'y aurait aucun signal. La dégradation des poids crée un écart qui dépend du token concerné.

Ce que montrent les expériences

La méthode a été testée sur cinq modèles de familles et de tailles différentes, denses et MoE : Qwen3-4B, OLMo-3-7B-Think, Qwen3.5-4B, Qwen3.6-27B et Qwen3.6-35B-A3B. Cinq tests ont été utilisés : trois de mathématiques, dont HMMT 2025 et les problèmes de la Mathematical Association of America de 2026, et deux de code, dont LiveCodeBench v6. Les maths sont mesurées en moyenne sur 32 tentatives par problème, le code sur quatre.

• La quantification a relevé la précision moyenne de 4,0 points par rapport aux modèles d'origine, l'élagage de 5,5.
• Une amélioration est constatée dans 21 des 25 paires « modèle — test » pour la quantification et dans 23 sur 25 pour l'élagage.
• Qwen3.5-4B profite le plus : la moyenne sur les cinq tests progresse de 11,3 points avec la quantification et de 13,4 avec l'élagage.
• L'élagage a apporté en moyenne 5,2 points à Qwen3.6-27B.
• La quantification a apporté 5,9 points à Qwen3.6-35B-A3B. Sur HMMT 2025, il passe de 68,5% à 74,6%, et sur LiveCodeBench v6 de 61,8% à 69,5%.

Les auteurs affirment que, sur Qwen3-4B et OLMo-3-7B-Think, les deux variantes rivalisent avec les méthodes OPSD et SDPO, qui exigent des solutions de référence ou des retours d'un environnement. Les moyennes de WISD sur les cinq tests sont supérieures aux chiffres publiés pour ces méthodes de référence. Une réserve importante : la comparaison s'appuie sur des résultats déjà publiés, et non sur une réexécution de toutes les méthodes dans des conditions identiques. Il s'agit d'un preprint, et aucune vérification indépendante n'existe pour l'instant.

Ce que cela change en pratique

Pour les équipes qui affinent des modèles ouverts sur leurs propres données, le coût d'entrée est le point intéressant. Il suffit d'un checkpoint et d'un jeu de problèmes sans réponses. Ni annotateurs, ni environnement de vérification, ni modèle externe puissant ne sont nécessaires. Les opérations sur les poids sont simples et ne demandent aucune calibration, et l'une des variantes d'affaiblissement, la quantification, fait déjà partie de la boîte à outils habituelle du déploiement.

Des questions restent ouvertes. Les résultats ont été obtenus en mathématiques et en code, où existent des critères de justesse nets. On ignore si la méthode se transposera à des tâches ouvertes dépourvues de tels critères. Les expériences ont porté sur des modèles allant jusqu'à 35 milliards de paramètres. Les auteurs ont publié le code sur GitHub (jet-ai-projects/WISD) : il est donc déjà possible de vérifier les chiffres sur ses propres modèles.