COFFEQA gagne 8,77 EM sur TriviaQA en distillation few-shot grâce aux contrefactuels

Des chercheurs proposent COFFEQA, une méthode pour distiller un modèle de langage destiné aux questions-réponses à partir d'un contexte, lorsque l'on ne dispose que de quelques dizaines d'exemples d'entraînement. Sur TriviaQA, avec 32 paires et des modèles de la famille T5, la méthode devance de 8,77 points d'EM moyen et de 9,98 points de F1 moyen la distillation reposant uniquement sur des exemples factuels. Les expériences couvrent cinq benchmarks de QA in-domain et trois out-of-domain, avec T5 et Qwen2.5 comme modèles. Le travail a été publié sur arXiv, dans la rubrique cs.CL, en tant que préprint ; il n'a pas encore fait l'objet d'une relecture par les pairs.

Le choix des exemples pèse plus lourd qu'on ne le croit

La distillation de connaissances vise à faire reproduire à un petit modèle élève le comportement d'un grand modèle enseignant, avec des ressources limitées. Le processus est généralement gourmand : il exige beaucoup de données et de calcul. Cela se voit surtout dans les tâches génératives, où l'élève imite une réponse développée au lieu de choisir une classe. La distillation few-shot résout une partie du problème : elle transmet les connaissances de l'enseignant à partir d'un petit échantillon.

Cette approche a toutefois un point faible. Les auteurs montrent que la qualité dépend fortement des échantillons retenus. Le résultat le plus inattendu concerne les exemples incertains, situés près de la frontière de décision de l'enseignant. On pourrait croire qu'ils sont les plus utiles. En réalité, ils dégradent sensiblement la distillation finale. Avec un budget réduit, chaque mauvais échantillon coûte cher.

Des contrefactuels plutôt qu'un fait de plus

COFFEQA ajoute un signal supplémentaire aux exemples factuels difficiles. En mode open-book QA, où le modèle répond à partir d'un contexte fourni, le contrefactuel se définit ainsi : c'est un contexte modifié a minima, après lequel l'enseignant donne une autre réponse. On obtient une paire « contexte d'origine — contexte modifié » associée à deux réponses différentes de l'enseignant. L'élève voit ainsi où passe la frontière de décision, et pas seulement des points situés d'un seul côté. Les auteurs avancent une justification géométrique : de telles paires bornent l'écart entre les frontières de l'enseignant et de l'élève.

Toute modification du contexte ne convient pas. Le travail introduit donc la métrique Context Following Difficulty (CFD). Elle vérifie les contrefactuels avant la distillation selon deux critères : la réponse de l'enseignant correspond-elle à l'alternative visée, et dépend-elle du contexte modifié ? Seules les paires qui passent cette vérification entrent dans l'entraînement.

Ce que l'on sait de la description du travail :

• Méthode : distillation few-shot sur des paires « fait — contrefactuel », sélectionnées par CFD.
• Tâche : open-book QA génératif.
• Modèles : familles T5 et Qwen2.5.
• Benchmarks : cinq in-domain et trois out-of-domain.
• Meilleur résultat rapporté : TriviaQA, T5, 32 paires, +8,77 d'EM moyen et +9,98 de F1 moyen par rapport à la base de référence.
• Conditions de comparaison : même budget few-shot ; la base de référence n'utilise que des exemples factuels.

Que faire de ces résultats en pratique

Pour une équipe qui compresse un modèle destiné au RAG ou à la recherche interne dans des documents, ce travail offre deux enseignements concrets. Premièrement, il vaut mieux ne pas retenir, pour un petit échantillon, les exemples les plus litigieux sous prétexte qu'ils sont « difficiles » : selon les auteurs, cela peut nuire. Deuxièmement, la génération de contrefactuels semble un moyen peu coûteux de tirer davantage du même nombre d'échantillons. Il suffit de modifier le contexte et de vérifier si l'enseignant change sa réponse. Un filtre de type CFD peut être reproduit comme étape distincte de contrôle qualité.

Une certaine prudence reste de mise. La description ne permet pas de savoir comment la méthode se comporte avec des modèles enseignants fermés, ni en dehors des QA à partir d'un contexte. Le chiffre de +8,77 EM concerne un seul jeu de données et une seule configuration, avec T5 et 32 paires. Les résultats pour Qwen2.5 et pour l'out-of-domain ne sont pas détaillés dans le texte du résumé. Avant d'intégrer cette approche dans un pipeline de production, mieux vaut attendre le code, les tableaux complets et des reproductions indépendantes.