TraceForge entraîne les modèles sur leurs « propres pensées » : +7,1 points sur MBPP+

L'équipe de TraceForge propose une méthode de distillation pour le cas où l'enseignant ne fournit que sa réponse et cache son raisonnement. Plutôt que d'extorquer la chaîne de pensée cachée, le système prend le contexte et la réponse finale de l'enseignant, puis écrit lui-même le raisonnement dans le style de la famille du modèle élève. Sur cinq benchmarks, à conditions égales, les tâches générales ne montrent presque aucune différence. En programmation, en revanche, le gain est net : avec les mêmes 5 000 questions et les mêmes réponses de l'enseignant, HumanEval+ progresse de 3,7 points et MBPP+ de 7,1.

Raisonnements fermés et contournement fragile

La génération de données d'entraînement par un LLM pour un autre reste l'une des méthodes les plus universelles pour entraîner des modèles. Mais certaines équipes frontier ont fermé ce canal pour leurs propres systèmes : seule une réponse ou un bref résumé sort, sans trace détaillée du raisonnement. Les auteurs de TraceForge soulignent l'ironie de la situation : ces modèles ont eux-mêmes grandi grâce à la distillation du savoir humain, alors que distiller un modèle ouvert reste une pratique courante. La restriction ne concerne que leurs propres sorties.

Des travaux récents ont réussi à reconstituer les raisonnements cachés en rejouant des blocs chiffrés entre modèles. La méthode fonctionne, mais elle enfreint les conditions d'utilisation des fournisseurs. On ne peut pas bâtir un produit durable dessus : la moindre révision des règles ou de la protection technique anéantit tout le pipeline.

Générateur et critique : fabriquer soi-même les pensées des autres

TraceForge aborde le problème par un autre angle. En entrée, le système reçoit le contexte et la réponse de l'enseignant ; le raisonnement est écrit par un générateur entraîné à reproduire les traces de la famille de modèles visée.

L'entraînement se déroule en deux étapes. D'abord une phase supervisée : le générateur apprend à reconstituer les vraies traces de la famille à partir du contexte et de la réponse. Puis une phase adversarial : le critique apprend à évaluer à quel point une trace semble authentique, et le générateur s'adapte à lui. À l'arrivée, lorsqu'il reçoit la réponse de l'enseignant, le générateur écrit le raisonnement comme l'aurait écrit un modèle de la famille de l'élève.

La vraisemblance a été mesurée par un juge indépendant, qui estime sur une échelle de 0 à 1 la probabilité qu'une trace soit authentique. Les auteurs insistent : il s'agit de scores d'authenticité, pas d'une proportion de solutions correctes.

• Traces générées : 0,68 en moyenne
• Traces réelles : 0,66
• Traces choisies par le critique parmi quatre candidates : 0,82
• Jeu d'entraînement : 5 000 questions avec les mêmes réponses de l'enseignant
• HumanEval+ : +3,7 points au checkpoint final
• MBPP+ : +7,1 points au checkpoint final, l'avantage se maintient à chaque checkpoint

Il faut garder à l'esprit que le juge évalue la ressemblance avec l'original. Les traces générées obtiennent 0,68 contre 0,66 pour les vraies, ce qui signifie seulement que le juge ne les distingue pas des vraies. Ce chiffre ne dit rien de la justesse des raisonnements. En revanche, sélectionner la meilleure de quatre candidates fait monter le score à 0,82 : le critique sert donc aussi de filtre en sortie, et pas seulement pendant l'entraînement.

Où le gain existe, et où il n'existe pas

L'expérience est conçue pour qu'une seule variable change. Cinq corpus d'entraînement ont été comparés sur cinq benchmarks. Sur les tâches générales, les corpus se valent à peu près. En programmation, le raisonnement généré a surpassé le contenu thinking propre à Fable 5, avec les mêmes questions et les mêmes réponses de l'enseignant.

Les auteurs ne font pour l'instant que supposer la raison : un raisonnement écrit dans le style de la famille de l'élève lui est plus facile à assimiler. Si l'hypothèse se vérifie, ce n'est pas la qualité des pensées d'autrui qui compte, mais leur compatibilité avec la façon dont l'élève construit lui-même sa chaîne. Pour le code, c'est plausible : la structure des raisonnements y est plus rigide, et les erreurs de style y sont plus visibles aux tests.

Que changer dans le pipeline de distillation

Pour les équipes qui affinent des modèles sur les réponses de systèmes fermés, la conclusion est pratique. L'absence de traces chez l'enseignant n'est pas une impasse, et il n'est pas nécessaire de contourner les restrictions du fournisseur. Le contexte et la réponse suffisent, et le raisonnement peut être synthétisé en local, sans enfreindre les règles.

Les limites sont, elles aussi, claires. Aucun gain n'est démontré sur les tâches générales : il apparaît en programmation. De plus, le score d'authenticité reste un indicateur indirect, et sans vérification de la justesse des traces sur ses propres tâches, on ne peut pas s'y fier. Un premier pas raisonnable : prendre une tâche de code, générer quatre candidates par réponse, laisser le critique retenir la meilleure et comparer avec l'échantillon de référence sur MBPP+. Si un écart d'environ sept points se reproduit, le passage à ce pipeline sera rentable.