Stanford publica su lección sobre entrenamiento de LLM: 16 capítulos, del preentrenamiento a GRPO

Stanford Online ha publicado la tercera lección del curso de otoño CME295 Transformers & LLMs 2026, dedicada por completo a cómo se entrenan los grandes modelos de lenguaje. La grabación tiene 16 capítulos, desde el preentrenamiento básico hasta la on-policy distillation. El último capítulo, un ejemplo de extremo a extremo, empieza en la marca 1:27:47, de modo que la lección dura bastante más de hora y media. El curso lo imparten los profesores adjuntos de Stanford Afshine y Shervine Amidi.

La descripción del vídeo solo incluye el índice de capítulos, sin el texto de la lección ni las diapositivas. Por eso, a continuación se desglosa la estructura del material y lo que hay detrás de cada término, no un resumen de lo que dicen los ponentes.

Del preentrenamiento al midtraining

La primera mitad de la lección se centra en los fundamentos. Abre el capítulo sobre preentrenamiento y le sigue de inmediato la entropía cruzada. Es la función de pérdida en la que se apoya la predicción del siguiente token: cuanto menor es la probabilidad que el modelo asigna a la continuación correcta, mayor es la penalización.

Después llegan las mezclas de datos (data mixtures). Aquí se decide en qué proporciones combinar textos web, código, matemáticas y otras fuentes. Las capacidades del modelo dependen en buena medida de esas proporciones, y los laboratorios son reacios a publicar detalles sobre ellas.

Un capítulo aparte trata el midtraining, la etapa intermedia entre el preentrenamiento y el post-entrenamiento. En ella suelen usarse datos más seleccionados. A continuación viene el entrenamiento con contexto largo, en el que se enseña al modelo a trabajar con una ventana mucho más amplia que en la etapa principal.

Post-entrenamiento: SFT, LoRA y preferencias

El segundo bloque arranca con el supervised finetuning. El modelo se ajusta con pares «instrucción — respuesta de referencia» y pasa de ser un predictor de texto a convertirse en un asistente. Junto a él aparece LoRA: los pesos base se congelan y solo se entrenan pequeños adaptadores de rango bajo. Esto reduce drásticamente los requisitos de memoria y permite hacer fine-tuning de modelos con hardware limitado.

Los capítulos sobre preference tuning van de la teoría a los métodos:

• la formulación de Bradley—Terry, un modelo probabilístico de comparaciones por pares sobre el que se construyen los modelos de recompensa (reward models);
• RLHF, donde el modelo se optimiza frente a una recompensa aprendida mediante aprendizaje por refuerzo;
• DPO, que prescinde de un modelo de recompensa independiente y optimiza las preferencias directamente.

Reasoning, GRPO y destilación

El bloque más reciente está dedicado a los modelos de razonamiento. El capítulo sobre reasoning conduce a GRPO (Group Relative Policy Optimization). Es una variante de RL en la que la ventaja de una respuesta se calcula en relación con un grupo de respuestas a la misma consulta. Gracias a ello no hace falta un modelo de valor (value model) aparte, y por tanto el entrenamiento consume menos memoria.

El último capítulo teórico trata la on-policy distillation. El estudiante genera las respuestas por sí mismo y el profesor las evalúa, lo que da una señal de entrenamiento densa sin el coste del RL.

Parámetros clave de la lección

• Curso: CME295 Transformers & LLMs, semestre de otoño de 2026, lección 3.
• Extensión: 16 capítulos; el ejemplo de extremo a extremo empieza en 1:27:47.
• Temas de pretraining: preentrenamiento, entropía cruzada, mezclas de datos, midtraining, contexto largo.
• Temas de post-training: SFT, LoRA, Bradley—Terry, RLHF, DPO.
• Temas avanzados: reasoning, GRPO, on-policy distillation.
• Ponentes: Afshine Amidi y Shervine Amidi.

A quién le conviene verla y cómo

La lección resulta útil para ingenieros que usan LLM en sus productos y quieren entender de dónde salen las diferencias entre las versiones base, instruct y reasoning de un mismo modelo. Los capítulos se pueden ver cómodamente por marcas de tiempo. Para una primera aproximación basta con el bloque de 0:31:47 a 1:05:38, de SFT a DPO. Quienes siguen de cerca los modelos de razonamiento deberían empezar en 1:12:08.

El temario y el calendario del curso están publicados en cme295.stanford.edu, y el resto de las lecciones están disponibles en la lista de reproducción de Stanford Online. Si haces fine-tuning de modelos abiertos, compara los capítulos sobre LoRA y DPO con tu propio pipeline: son los métodos que con más frecuencia están al alcance fuera de los grandes laboratorios.