Copy-Paste Language Models : une tête de copie ajoutée aux LLM de 135M à 1,7B paramètres

Les Copy-Paste Language Models (CPLMs) reposent sur une idée simple : conserver la tête LM habituelle du transformeur et lui adjoindre une tête Copy-Paste légère, qui apprend séparément à copier des tokens depuis le contexte. Les auteurs ont préentraîné des modèles de 135M à 1,7B paramètres et rapportent des améliorations à toutes les échelles et sur différents backbones. L'entraînement devient plus efficace, et le surcoût à l'entraînement comme à l'inférence est, selon eux, négligeable.

La copie comme tâche à part entière

On considère généralement les transformeurs comme de bons copistes. Le mécanisme d'attention permet de retrouver le bon token dans l'entrée et de le reporter en sortie ; un nom tiré d'un document ou un identifiant issu d'un code sont donc d'ordinaire reproduits sans difficulté. Les auteurs contestent l'idée que cela suffise. Ils montrent que la capacité d'un LLM à copier depuis le contexte peut être renforcée si on la modélise explicitement.

Les mécanismes de copie ne sont pas une nouveauté : les réseaux pointer-generator servent depuis longtemps à des tâches comme le résumé automatique. La nouveauté tient ici à l'intégration de la tête Copy-Paste dans le préentraînement d'un modèle de langage généraliste, et non dans une tâche étroite. Les détails d'implémentation ne sont pas divulgués dans le résumé publié : la manière exacte dont la tête mélange sa sortie avec la distribution de la tête LM ne ressortira que du texte complet de l'article.

Le goulot d'étranglement du gradient dans la tête LM

L'élément le plus intéressant du travail est l'explication de ce gain. La tête LM standard projette l'état caché du modèle en logits sur l'ensemble du vocabulaire. La dimension de l'état caché est très inférieure à la taille du vocabulaire : tout le signal d'apprentissage passe donc par cette projection, qui limite la façon dont le gradient remonte dans le réseau. C'est ce que l'on appelle le gradient bottleneck.

D'après les auteurs, la tête Copy-Paste crée un chemin alternatif pour le gradient et atténue en partie ce goulot d'étranglement. Le mot « en partie » est important : il ne s'agit pas d'éliminer complètement le problème, mais d'expliquer le gain observé. Si le mécanisme fonctionne bien ainsi, le bénéfice ne tient pas seulement à la facilité de copie à l'inférence : le modèle apprend aussi plus efficacement pendant le préentraînement.

Ce que les expériences annoncent

Le résumé présente des résultats qualitatifs, sans valeurs de métriques précises :

• Gamme de modèles : de 135M à 1,7B paramètres, préentraînement à partir de zéro.
• Des améliorations sont annoncées à toutes les échelles et sur tous les backbones testés.
• L'efficacité de l'entraînement et la qualité sur les tâches downstream augmentent.
• De nouveaux points de fonctionnement (operating points) apparaissent pour le contexte long et les scénarios de retrieval.
• Le surcoût à l'entraînement et à l'inférence est qualifié de négligeable.

Ce qu'il faut en retenir

Pour les équipes qui préentraînent de petits modèles, ce travail offre un candidat peu coûteux pour des ablations. Une seule tête supplémentaire n'impose pas de refondre le pipeline, et le coût de calcul annoncé est proche de zéro. Pour le RAG et les tâches à contexte long, où le modèle doit reporter fidèlement des fragments de l'entrée, modéliser explicitement la copie paraît une piste d'amélioration logique.

Les limites sont également claires. Les expériences s'arrêtent à 1,7B paramètres : on ignore donc si l'effet se maintient sur des modèles de dizaines ou de centaines de milliards de paramètres. Les résultats portent sur le préentraînement, pas sur le fine-tuning ; appliquer la méthode à un modèle déjà prêt, sans entraînement supplémentaire, sera donc probablement impossible. Enfin, sans les chiffres du texte complet, il est difficile de mesurer l'ampleur du gain : des « améliorations à toutes les échelles » peuvent désigner aussi bien un bond sensible qu'un progrès modeste mais constant.

Avant toute mise en œuvre, mieux vaut attendre le code et les tableaux de résultats. Si les annonces se confirment, ce serait un cas rare : une modification d'architecture qui ne coûte presque rien et corrige pourtant un point faible précis de l'entraînement.