Fonction de Perte
Une fonction de perte est une fonction mathématique qui mesure la divergence entre les prédictions d'un modèle et les véritables valeurs cibles, produisant un score scalaire que les algorithmes d'optimisation minimisent pendant l'entraînement.
Une fonction de perte (aussi appelée fonction de coût ou fonction objectif) quantifie le degré de correspondance entre les sorties d'un modèle d'apprentissage automatique et les cibles souhaitées. Elle mappe les prédictions du modèle et les étiquettes de vérité terrain correspondantes à un scalaire unique non-négatif ; plus la valeur est faible, plus les prédictions se rapprochent des cibles. L'optimisation pendant l'entraînement consiste à trouver les poids du modèle qui minimisent ce scalaire.
Le choix de la fonction de perte dépend de la tâche. Pour la régression, l'erreur quadratique moyenne (MSE) pénalise les grands écarts quadratiquement. Pour la classification binaire, l'entropie croisée binaire mesure la vraisemblance logarithmique des affectations de classe correctes. Pour les problèmes multi-classes, l'entropie croisée catégorique est standard. Les tâches spécialisées utilisent des pertes personnalisées : les modèles de détection d'objets combinent souvent une perte de localisation avec une perte de classification ; les modèles de diffusion utilisent un objectif de correspondance de score de débruitage ; les modèles de langage minimisent l'entropie croisée sur les prédictions du token suivant, équivalent à maximiser la vraisemblance logarithmique du corpus d'entraînement.
La fonction de perte est centrale pour la conception des modèles et l'analyse théorique. Elle encode le biais inductif du système d'apprentissage — ce que « bon » signifie pour une tâche donnée — et son paysage sur l'espace des paramètres détermine la difficulté de l'optimisation. Une fonction de perte mal choisie peut produire des modèles qui optimisent la métrique proxy tout en échouant sur la tâche réelle, une dynamique parfois encadrée comme la Loi de Goodhart appliquée à l'apprentissage automatique.
Dans l'entraînement des grands modèles de langage en 2026, la perte d'entropie croisée standard du token suivant est couramment complétée par l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), où un modèle de récompense appris remplace ou augmente la perte de base pour aligner les sorties avec les préférences humaines. La recherche sur les fonctions de perte qui capturent mieux la qualité sémantique, la précision factuelle et les propriétés de sécurité est en cours dans des laboratoires incluant Anthropic, Google DeepMind et OpenAI.