Stanford publie un cours sur l'entraînement des LLM : 16 chapitres, du pré-entraînement à GRPO

Stanford Online a mis en ligne la troisième leçon de son cours d'automne CME295 Transformers & LLMs 2026, entièrement consacrée à la manière dont on entraîne les grands modèles de langage. L'enregistrement compte 16 chapitres, du pré-entraînement de base jusqu'à l'on-policy distillation. Le dernier chapitre, l'exemple de bout en bout, démarre à 1:27:47 : la leçon dure donc nettement plus d'une heure et demie. Le cours est assuré par les professeurs adjoints de Stanford Afshine et Shervine Amidi.

La description de la vidéo ne contient que le sommaire, sans transcription de la leçon ni diapositives. Cet article détaille donc la structure du contenu et ce que recouvre chaque terme, sans résumer les propos des intervenants.

Du pré-entraînement au midtraining

La première moitié de la leçon pose les fondations. Elle s'ouvre sur le chapitre consacré au pré-entraînement, suivi immédiatement par l'entropie croisée. Cette fonction de perte sous-tend la prédiction du token suivant : plus le modèle attribue une faible probabilité à la bonne suite, plus il est pénalisé.

Vient ensuite le chapitre sur les mélanges de données (data mixtures). Il s'agit de décider dans quelles proportions combiner textes web, code, mathématiques et autres sources. Ces proportions influent nettement sur les capacités du modèle, et les laboratoires rechignent à en publier les détails.

Un chapitre à part traite du midtraining, l'étape intermédiaire entre le pré-entraînement et le post-entraînement. Elle s'appuie en général sur des données plus sélectionnées. Suit l'entraînement sur contexte long, où l'on apprend au modèle à travailler avec une fenêtre bien plus large que lors de l'étape principale.

Post-entraînement : SFT, LoRA et préférences

Le deuxième bloc commence par le supervised finetuning. Le modèle est affiné sur des paires « instruction — réponse de référence » et passe ainsi du statut de prédicteur de texte à celui d'assistant. LoRA vient juste après : les poids de base sont gelés, et seuls de petits ajouts de rang faible sont entraînés. Cela réduit fortement les besoins en mémoire et permet d'affiner des modèles sur du matériel limité.

Les chapitres sur le preference tuning vont de la théorie aux méthodes :

• la formulation de Bradley — Terry, modèle probabiliste de comparaisons par paires sur lequel reposent les modèles de récompense (reward models) ;
• le RLHF, où le modèle est optimisé par apprentissage par renforcement contre une récompense apprise ;
• le DPO, qui se passe de modèle de récompense distinct et optimise directement les préférences.

Reasoning, GRPO et distillation

Le bloc le plus récent porte sur les modèles de raisonnement. Le chapitre sur le reasoning mène à GRPO (Group Relative Policy Optimization). Cette variante de RL calcule l'avantage d'une réponse par rapport à un groupe de réponses à la même requête. Elle n'a donc pas besoin de modèle de valeur (value model) distinct, ce qui rend l'entraînement moins coûteux en mémoire.

Le dernier chapitre théorique est consacré à l'on-policy distillation. Le modèle étudiant génère lui-même ses réponses, et le modèle enseignant les évalue. On obtient ainsi un signal d'apprentissage dense, sans le coût du RL.

Paramètres clés de la leçon

• Cours : CME295 Transformers & LLMs, semestre d'automne 2026, leçon 3.
• Volume : 16 chapitres, l'exemple de bout en bout commence à 1:27:47.
• Sujets de pré-entraînement : pré-entraînement, entropie croisée, mélanges de données, midtraining, contexte long.
• Sujets de post-entraînement : SFT, LoRA, Bradley — Terry, RLHF, DPO.
• Sujets avancés : reasoning, GRPO, on-policy distillation.
• Intervenants : Afshine Amidi et Shervine Amidi.

À qui s'adresse cette leçon et comment la suivre

La leçon s'adresse aux ingénieurs qui utilisent des LLM dans leurs produits et veulent comprendre d'où viennent les différences entre les versions de base, instruct et reasoning d'un même modèle. Les chapitres se regardent facilement grâce aux repères temporels. Pour une entrée en matière rapide, le segment de 0:31:47 à 1:05:38, du SFT au DPO, suffit. Ceux qui suivent les modèles de raisonnement gagneront à commencer à 1:12:08.

Le syllabus et le calendrier du cours sont publiés sur cme295.stanford.edu, et les autres leçons sont disponibles dans la playlist de Stanford Online. Si vous affinez des modèles ouverts, confrontez les chapitres sur LoRA et DPO à votre propre pipeline : ce sont ces méthodes qui sont le plus souvent accessibles en dehors des grands laboratoires.