Checkpoint do Modelo
Um checkpoint do modelo é um snapshot salvo dos pesos de uma rede neural e do estado do otimizador em um ponto específico durante o treinamento, permitindo retomada após falhas de hardware e seleção da versão com melhor desempenho através de passos de treinamento.
Um checkpoint do modelo é um arquivo serializado ou conjunto de arquivos capturando o estado completo de uma rede neural em um passo de treinamento ou época dados: os pesos do modelo, estado do otimizador (incluindo buffers de momentum e estatísticas adaptativas da taxa de aprendizado), a posição atual do cronograma da taxa de aprendizado, e o índice de passo ou época. Salvar checkpoints em intervalos regulares é prática padrão em qualquer execução não-trivial de treinamento de deep learning.
Checkpoints são escritos usando formatos de serialização específicos do framework. PyTorch usa arquivos .pt ou .pth produzidos por torch.save; TensorFlow usa diretórios SavedModel ou fragmentos .ckpt; o ecossistema Hugging Face adotou amplamente o formato safetensors, que carrega mais rápido e evita as vulnerabilidades de segurança da serialização baseada em pickle. Para grandes modelos, arquivos de checkpoint variam de alguns megabytes para classificadores pequenos a centenas de gigabytes para modelos de linguagem com 70B+ parâmetros, frequentemente armazenados como arquivos fragmentados em armazenamento de objetos distribuído.
Checkpoints servem múltiplos propósitos na prática: tolerância a falhas (retomando uma execução de treinamento de múltiplas semanas após falha de nó sem perder todo o progresso), seleção de modelo (retendo o checkpoint do passo com a melhor métrica de validação ao invés de cegamente levar os pesos finais), e implantação (usando pesos salvos diretamente como o artefato de inferência de produção). Checkpoint averaging — computando a média elemento-a-elemento de pesos através de vários checkpoints recentes — é uma técnica adicional às vezes usada para melhorar generalização.
A partir de 2026, o Hugging Face Hub hospeda milhões de checkpoints de modelo público, tornando o compartilhamento de checkpoint o padrão de fato para distribuição de modelo e reprodutibilidade. Plataformas de treinamento em nuvem como AWS SageMaker, Google Vertex AI, e Azure ML oferecem gerenciamento de checkpoint integrado com salvamentos periódicos automáticos para armazenamento de objetos como S3 ou GCS. Para modelos muito grandes, o tempo necessário para escrever e recarregar um checkpoint pode se tornar um gargalo, levando a trabalho em checkpointing assíncrono e salvamentos de delta incremental.