SFT-as-context rend aux LLM affinés leurs compétences générales : un écart de seulement 2,2 points

Affiner un modèle de langage lui coûte presque toujours une partie de ses compétences initiales. Les auteurs d'un preprint publié sur arXiv proposent de contourner ce coût sans un seul pas de descente de gradient. Leur méthode, SFT-as-context, fait répondre le modèle d'origine, dit « parent », à une requête en gardant dans son contexte la réponse de sa version affinée par SFT. Sur 19 paires « parent — modèle SFT » et 11 benchmarks, l'écart avec le modèle SFT sur les tâches spécialisées est d'environ deux points de pourcentage. Sur les compétences générales, le résultat reste en moyenne à moins de 2,2 points du parent.

Le problème : se spécialiser en oubliant

Le supervised fine-tuning transforme un modèle généraliste en spécialiste des mathématiques, du code ou d'un autre domaine étroit. Son effet secondaire est connu : le modèle perd une partie des capacités générales de son parent. Les requêtes qui exigent les deux jeux de compétences à la fois s'en sortent le plus mal. Un modèle affiné peut résoudre avec assurance la partie spécialisée et échouer sur le reste. Le parent fera l'inverse.

On traite généralement ce problème en mélangeant des données générales à l'entraînement, en fusionnant les poids ou en recourant à des schémas de réglage fin plus prudents. Toutes ces approches demandent de la puissance de calcul et un paramétrage soigné. Les auteurs empruntent ici une autre voie.

Comment fonctionne SFT-as-context

Le schéma tient en deux étapes. D'abord, le modèle SFT reçoit la requête et produit sa réponse. Ensuite, le modèle parent reçoit la même requête, accompagnée de cette réponse dans son contexte, et formule le résultat final. Les poids ne sont pas modifiés. Le parent assimile les techniques spécialisées par in-context learning, tout en conservant ses propres capacités générales.

Cette approche a une conséquence : chaque requête nécessite deux passages dans les modèles et un contexte plus long. L'abstract ne donne ni la latence ni le coût, il faudra donc les évaluer soi-même.

Ce que montrent les tests

Les auteurs ont comparé la méthode aux deux modèles de chaque paire : au modèle SFT sur les tâches spécialisées, au parent sur les tâches générales. Les chiffres clés de l'abstract :

• 19 paires « parent — modèle SFT » et 11 benchmarks.
• AIME 2024 : écart de 2,2 points de pourcentage avec le modèle SFT.
• LiveCodeBench : écart de 2,1 points de pourcentage avec le modèle SFT.
• NutriBench-English : écart de 2,0 en macro MAE.
• Compétences générales : en moyenne à moins de 2,2 points de pourcentage du modèle parent.

Le résultat le plus intéressant concerne les tâches à la frontière des deux domaines. La méthode a résolu des requêtes qui exigent à la fois des capacités spécialisées et générales, même lorsque ni le parent ni le modèle SFT n'y parvenaient seuls. La réponse du spécialiste joue le rôle d'indice, et le parent complète ce qui manque avec ses propres connaissances.

L'approche ne se limite pas aux paires « apparentées ». Les réponses d'un petit modèle SFT ouvert ont amélioré le résultat d'un LLM fermé plus puissant, et l'association a surpassé chacun des modèles pris seul. Pour les équipes qui travaillent via API et ne peuvent pas modifier les poids, c'est l'enseignement le plus concret de ce travail.

Théorie et attention

Les auteurs ont construit un modèle bayésien et en ont déduit des bornes d'erreur. Sur les tâches spécialisées, l'erreur de la méthode est bornée par rapport au modèle SFT ; sur les tâches générales, par rapport au parent. Ce sont des garanties valables dans un cadre théorique, pas une promesse pour n'importe quel scénario réel.

Le mécanisme a également été vérifié. D'après les cartes d'attention, le modèle parent porte davantage d'attention aux réponses utiles du modèle SFT et moins aux réponses non pertinentes. Cela ressemble à une exploitation sélective de l'indice. Mais cela ne garantit pas une protection contre un indice erroné, et l'abstract ne permet pas de dire comment la méthode se comporte face à des réponses SFT manifestement fausses.

À quoi cela peut servir en pratique

Si vous disposez d'un modèle affiné qui échoue sur des tâches générales, SFT-as-context peut servir de référence peu coûteuse à tester avant de lancer des expériences coûteuses de fusion de poids. Un script de deux appels suffit. Pour les produits bâtis sur des modèles fermés, une autre voie s'ouvre : un petit modèle de domaine, hébergé sur votre propre matériel, produit une réponse brouillon, et un modèle puissant dans le cloud la mène à son terme.

Avant de déployer, il faut mesurer trois choses : le gain de qualité sur vos données, le doublement de la latence et de la consommation de tokens, ainsi que la part des cas où une réponse erronée du modèle SFT tire le résultat final vers le bas. L'abstract du travail original ne divulgue pas ces chiffres : la décision devra reposer sur vos propres mesures.