Logits
Les logits sont les scores bruts, non normalisés et à valeurs réelles sortis de la couche linéaire finale d'un réseau de neurones avant la normalisation softmax ; dans les modèles de langage, un logit par jeton de vocabulaire représente la probabilité relative prédite de ce jeton.
Dans les modèles de langage, les logits sont la sortie de la couche de projection linéaire finale, qui mappe le vecteur d'état caché du modèle à un score à valeur réelle pour chaque entrée du vocabulaire — généralement 32 000 à plus de 100 000 jetons pour les modèles modernes. Ces scores sont des nombres réels non bornés sans interprétation probabiliste directe en isolation : ce qui compte, c'est leurs magnitudes relatives. Un logit plus élevé signifie que le modèle classe ce jeton au-dessus des alternatives, mais la valeur absolue est dénuée de sens sans comparaison avec le reste du vecteur de vocabulaire.
Pour convertir les logits en distribution de probabilité, la fonction softmax est appliquée : chaque logit est exponencié et divisé par la somme de toutes les valeurs exponenciées sur le vocabulaire, produisant des valeurs non-négatives qui totalisent 1.0. Le terme a ses racines dans les statistiques, où un logit désigne les log-cotes d'une probabilité binaire log(p/(1−p)), mais dans l'apprentissage profond moderne, il est utilisé plus largement pour désigner n'importe quel score pré-softmax dans un paramètre de classification ou de génération. Toutes les principales stratégies d'échantillonnage de jetons — mise à l'échelle de température, filtrage top-k, échantillonnage nucleus top-p, pénalités de répétition, et logit bias — fonctionnent sur ce vecteur avant l'application de softmax, ce qui rend les logits le point de contrôle central du pipeline d'inférence.
Les logits sont importants car c'est la couche à laquelle les praticiens interviennent pour façonner le comportement du modèle sans réentraîner. Logit bias (ajout d'une constante aux logits de jetons spécifiques) applique des contraintes de sortie telles que le formatage JSON ou les restrictions de contenu. L'orientation sans classificateur dans les modèles de langage et de diffusion fusionne les vecteurs de logits conditionnels et inconditionnels par un facteur d'échelle d'orientation. Le décodage contraint définit les logits pour les continuations grammaticalement invalides à l'infini négatif, garantissant une sortie structurée syntaxiquement valide. Le retour des log-probabilités (log-softmax des logits) aux consommateurs d'API permet la notation en aval, l'estimation de l'incertitude et le réclassement des complétions candidates.
Entre 2025 et 2026, plusieurs APIs de production exposent l'information logprob aux développeurs : l'API OpenAI retourne les log-probabilités top-k par jeton sur demande, permettant la mesure de confiance et l'analyse au niveau des jetons. La recherche en interprétabilité — particulièrement les travaux d'interprétabilité mécanique chez Anthropic et DeepMind — utilise la technique du « logit lens », qui projette les états cachés des couches intermédiaires à travers la matrice de sortie pour observer l'évolution des prédictions de jetons dans les couches du transformer, traitant l'espace des logits comme une fenêtre de diagnostic sur le calcul du modèle.