Stanford publica aula sobre treinamento de LLMs: 16 capítulos, do pré-treinamento ao GRPO

A Stanford Online publicou a terceira aula do curso de outono CME295 Transformers & LLMs 2026, inteiramente dedicada a como os grandes modelos de linguagem são treinados. A gravação tem 16 capítulos, do pré-treinamento básico até a on-policy distillation. O último capítulo, o exemplo de ponta a ponta, começa em 1:27:47, ou seja, a aula dura bem mais de uma hora e meia. O curso é ministrado pelos professores adjuntos de Stanford Afshine e Shervine Amidi.

A descrição do vídeo traz apenas o índice de capítulos, sem o texto da aula nem os slides. Por isso, a seguir analisamos a estrutura do material e o que há por trás de cada termo, sem reproduzir o que os professores dizem.

Do pré-treinamento ao midtraining

A primeira metade da aula trata dos fundamentos. O capítulo sobre pré-treinamento abre a discussão, e logo em seguida vem a entropia cruzada. Essa é a função de perda que sustenta a previsão do próximo token: quanto menor a probabilidade que o modelo atribui à continuação correta, maior a penalidade.

Em seguida, o programa aborda as misturas de dados (data mixtures). É aqui que se decide em quais proporções combinar textos da web, código, matemática e outras fontes. Essas proporções influenciam bastante as capacidades do modelo, e os laboratórios relutam em divulgar detalhes sobre elas.

Um capítulo à parte trata do midtraining, etapa intermediária entre o pré-treinamento e o pós-treinamento. Nela, costumam ser usados dados mais selecionados. Depois vem o treinamento em contexto longo, em que o modelo aprende a trabalhar com uma janela muito maior do que a da etapa principal.

Pós-treinamento: SFT, LoRA e preferências

O segundo bloco começa com o supervised finetuning. O modelo é refinado com pares "instrução — resposta de referência" e, de simples preditor de texto, passa a ser um assistente. Ao lado dele aparece o LoRA: os pesos-base ficam congelados, e apenas pequenos adaptadores de baixo posto são treinados. Isso reduz drasticamente os requisitos de memória e permite refinar modelos em hardware limitado.

Os capítulos sobre preference tuning vão da teoria aos métodos:

• a formulação de Bradley — Terry, modelo probabilístico de comparações pareadas em que se baseiam os modelos de recompensa (reward models);
• o RLHF, em que o modelo é otimizado contra uma recompensa treinada, por meio de aprendizado por reforço;
• o DPO, que dispensa um reward model separado e otimiza as preferências diretamente.

Reasoning, GRPO e distilação

O bloco mais recente é dedicado aos modelos de raciocínio. O capítulo sobre reasoning leva ao GRPO (Group Relative Policy Optimization). Trata-se de uma variante de RL em que a vantagem de uma resposta é calculada em relação a um grupo de respostas ao mesmo prompt. Com isso, não é preciso um modelo de valor (value model) separado, e o treinamento fica mais barato em memória.

O último capítulo teórico trata da on-policy distillation. O modelo estudante gera as respostas por conta própria, e o professor as avalia, o que produz um sinal de treinamento denso, sem o custo do RL.

Principais dados da aula

• Curso: CME295 Transformers & LLMs, semestre de outono de 2026, aula 3.
• Extensão: 16 capítulos; o exemplo de ponta a ponta começa em 1:27:47.
• Tópicos de pré-treinamento: pré-treinamento, entropia cruzada, misturas de dados, midtraining, contexto longo.
• Tópicos de pós-treinamento: SFT, LoRA, Bradley — Terry, RLHF, DPO.
• Tópicos avançados: reasoning, GRPO, on-policy distillation.
• Professores: Afshine Amidi e Shervine Amidi.

Para quem é e como assistir

A aula é útil para engenheiros que usam LLMs em produtos e querem entender de onde vêm as diferenças entre as versões base, instruct e reasoning de um mesmo modelo. Os capítulos podem ser vistos por marcação de tempo. Para uma entrada rápida, basta o trecho de 0:31:47 a 1:05:38, do SFT ao DPO. Quem acompanha os modelos de raciocínio deve começar em 1:12:08.

A ementa e o cronograma do curso estão publicados em cme295.stanford.edu, e as demais aulas estão disponíveis na playlist da Stanford Online. Se você refina modelos abertos, compare os capítulos sobre LoRA e DPO com o seu pipeline: são esses os métodos mais acessíveis fora dos grandes laboratórios.