Point de contrôle de modèle
Un point de contrôle de modèle est un instantané enregistré des poids d'un réseau neuronal et de l'état de l'optimiseur à un moment spécifique pendant l'entraînement, permettant la reprise après des défaillances matérielles et la sélection de la version la plus performante au cours des étapes d'entraînement.
Un point de contrôle de modèle est un fichier sérialisé ou un ensemble de fichiers capturant l'état complet d'un réseau neuronal à une étape d'entraînement ou une époque donnée : les poids du modèle, l'état de l'optimiseur (y compris les tampons de momentum et les statistiques du taux d'apprentissage adaptatif), la position actuelle du calendrier du taux d'apprentissage, et l'indice d'étape ou d'époque. L'enregistrement des points de contrôle à intervalles réguliers est une pratique standard dans tout entraînement d'apprentissage profond non trivial.
Les points de contrôle sont écrits en utilisant des formats de sérialisation spécifiques aux frameworks. PyTorch utilise des fichiers .pt ou .pth produits par torch.save ; TensorFlow utilise des répertoires SavedModel ou des fragments .ckpt ; l'écosystème Hugging Face a largement adopté le format safetensors, qui se charge plus rapidement et évite les vulnérabilités de sécurité de la sérialisation basée sur pickle. Pour les grands modèles, les fichiers de point de contrôle vont de quelques mégaoctets pour les petits classifieurs à des centaines de gigaoctets pour les modèles linguistiques 70B+ paramètres, souvent stockés en tant que fichiers fragmentés dans le stockage d'objets distribué.
Les points de contrôle servent à plusieurs fins en pratique : la tolérance aux pannes (reprendre une exécution d'entraînement de plusieurs semaines après une défaillance de nœud sans perdre tout progrès), la sélection du modèle (conserver le point de contrôle de l'étape avec la meilleure métrique de validation plutôt que de prendre aveuglément les poids finaux), et le déploiement (utiliser les poids enregistrés directement comme l'artefact d'inférence en production). La moyenne des points de contrôle — calcul de la moyenne élément par élément des poids sur plusieurs points de contrôle récents — est une technique supplémentaire parfois utilisée pour améliorer la généralisation.
Depuis 2026, le Hugging Face Hub accueille des millions de points de contrôle de modèles publics, ce qui rend le partage de points de contrôle la norme de facto pour la distribution de modèles et la reproductibilité. Les plateformes d'entraînement en nuage telles qu'AWS SageMaker, Google Vertex AI et Azure ML offrent une gestion intégrée des points de contrôle avec des enregistrements périodiques automatiques vers le stockage d'objets tels que S3 ou GCS. Pour les très grands modèles, le temps requis pour écrire et recharger un point de contrôle peut lui-même devenir un goulot d'étranglement, incitant le travail sur les points de contrôle asynchrones et les enregistrements delta incrémentiels.