Stanford выложил лекцию по обучению LLM: 16 глав от предобучения до GRPO

Stanford Online выложил третью лекцию осеннего курса CME295 Transformers & LLMs 2026 года, и она целиком посвящена тому, как обучают большие языковые модели. В записи 16 глав: от базового предобучения до on-policy distillation. Последняя глава, сквозной пример, стартует на отметке 1:27:47, то есть лекция идёт заметно дольше полутора часов. Курс ведут адъюнкт-профессора Стэнфорда Афшин и Шервин Амиди.

В описании видео есть только оглавление, без текста лекции и слайдов. Поэтому ниже разобрана структура материала и то, что стоит за каждым термином, а не пересказ слов лекторов.

От предобучения к midtraining

Первая половина лекции посвящена фундаменту. Глава о предобучении открывает разговор, за ней сразу идёт кросс-энтропия. Это функция потерь, на которой держится предсказание следующего токена: модель штрафуют тем сильнее, чем меньшую вероятность она отдала правильному продолжению.

Дальше в программе смеси данных (data mixtures). Здесь решается, в каких пропорциях смешивать веб-тексты, код, математику и другие источники. От этих пропорций заметно зависят способности модели, а подробности о них лаборатории публикуют неохотно.

Отдельная глава отведена midtraining, промежуточному этапу между предобучением и пост-обучением. На нём обычно используют более отобранные данные. Следом идёт обучение на длинном контексте, где модель учат работать с окном гораздо шире, чем на основном этапе.

Пост-обучение: SFT, LoRA и предпочтения

Второй блок начинается с supervised finetuning. Модель дообучают на парах «инструкция — эталонный ответ», и из предсказателя текста она превращается в ассистента. Рядом стоит LoRA: базовые веса замораживаются, а обучаются небольшие низкоранговые добавки. Это резко сокращает требования к памяти и позволяет дообучать модели на ограниченном железе.

Главы о preference tuning выстроены от теории к методам:

• формулировка Брэдли — Терри, вероятностная модель парных сравнений, на которой строят reward-модели;
• RLHF, где модель оптимизируют против обученной награды с помощью обучения с подкреплением;
• DPO, который обходится без отдельной reward-модели и оптимизирует предпочтения напрямую.

Reasoning, GRPO и дистилляция

Самый свежий блок посвящён рассуждающим моделям. Глава о reasoning ведёт к GRPO (Group Relative Policy Optimization). Это вариант RL, в котором преимущество ответа считают относительно группы ответов на тот же запрос. За счёт этого не нужна отдельная value-модель, а значит, обучение дешевле по памяти.

Последняя теоретическая глава посвящена on-policy distillation. Студент генерирует ответы сам, а учитель оценивает их, и так получается плотный сигнал обучения без дорогого RL.

Ключевые параметры лекции

• Курс: CME295 Transformers & LLMs, осенний семестр 2026, лекция 3.
• Объём: 16 глав, сквозной пример начинается на 1:27:47.
• Темы пре-трейна: предобучение, кросс-энтропия, смеси данных, midtraining, длинный контекст.
• Темы пост-трейна: SFT, LoRA, Брэдли — Терри, RLHF, DPO.
• Продвинутые темы: reasoning, GRPO, on-policy distillation.
• Лекторы: Афшин Амиди и Шервин Амиди.

Кому и как это смотреть

Лекция полезна инженерам, которые используют LLM в продуктах и хотят понимать, откуда берутся различия между базовой, instruct- и reasoning-версиями одной модели. Главы удобно смотреть по таймкодам. Для быстрого входа достаточно блока с 0:31:47 по 1:05:38, от SFT до DPO. Тем, кто следит за рассуждающими моделями, стоит начать с 1:12:08.

Силлабус и расписание курса опубликованы на cme295.stanford.edu, а остальные лекции доступны в плейлисте Stanford Online. Если вы дообучаете открытые модели, сопоставьте главы про LoRA и DPO со своим пайплайном: именно эти методы чаще всего доступны вне больших лабораторий.