Un bug d'arrondi dans softmax et la cross-entropy : 85 % de précision au lieu de 23 %
Softmax et la cross-entropy sont présents dans tous les classifieurs et dans tous les LLM, et on y a trouvé un bug d'arrondi. Quand un modèle est très sûr de lui, la probabilité de la bonne réponse est arrondie à 100 %, l'erreur est comptée comme nulle et l'apprentissage sur cet exemple s'arrête. Après correction, sur la tâche a² + b² mod 97, la précision sur le test atteint 85 %, alors que la fonction standard passe de 61 % à 23 %. Si vous entraînez un modèle en bf16, il vaut la peine de tester le remplacement de cette seule fonction de perte.
Traité par IA depuis TG: @gonzo_ML (gonzo-обзоры ML статей) ; édité par Hamidun News
Softmax et la cross-entropy sont les fonctions les plus rabâchées du deep learning. Softmax transforme les scores bruts du modèle pour chaque réponse possible (appelés logits) en probabilités, et la cross-entropy compare ces probabilités à la bonne réponse et produit un nombre qui indique à quel point le modèle s'est trompé. Ce nombre s'appelle la perte (loss), et c'est elle qui guide l'apprentissage du réseau.
Ce couple se retrouve dans les classifieurs, les modèles de langage et la distillation. Jonathan Barron, Dan Gnanapragasam et Michael Chennen affirment dans leur article « A Fix for Softmax and Cross-Entropy » que deux erreurs d'arrondi sont présentes dans toutes les implémentations de masse de ces fonctions. Elles n'ont été repérées qu'après plus de dix ans d'usage intensif.
Comment l'arrondi étouffe l'apprentissage
Le premier bug, les auteurs l'appellent Softmax Collapse. Imaginez un élève si sûr de sa réponse que le professeur cesse de le corriger. Dans le modèle, c'est à peu près ce qui se passe. Quand il est très sûr de lui, la probabilité de la bonne classe est arrondie, dans les nombres informatiques, à exactement 100 %. Le signal d'apprentissage se calcule à peu près comme « un moins la probabilité », ce qui donne exactement zéro. Le gradient qui met à jour les poids disparaît, et sur cet exemple le modèle n'apprend plus rien. Le problème ne vient pas des mathématiques, mais du fait qu'un nombre à virgule flottante ne dispose que d'un nombre fini de chiffres significatifs.
Le second bug, Softmax Cancellation, apparaît dans la distillation, c'est-à-dire l'entraînement d'un petit modèle élève à reproduire les réponses d'un grand modèle professeur. Si les logits de l'élève coïncident déjà avec ceux du professeur, le gradient devrait être nul. Mais lorsqu'on soustrait deux nombres presque égaux, l'arrondi laisse un petit reste non nul. Ce reste continue de pousser les poids, qui finissent par dériver. L'effet est le plus marqué en bf16 : ce format ne stocke que peu de chiffres significatifs, alors que de nombreux grands modèles sont entraînés aujourd'hui dans ce format.
Ce qui est proposé et les chiffres obtenus
Les auteurs ont réécrit softmax, log-softmax et la cross-entropy, aussi bien pour les étiquettes dures (une seule bonne réponse) que pour les étiquettes souples (un ensemble de probabilités), dans l'espace logarithmique. L'idée est simple : ne pas soustraire des nombres presque identiques, mais calculer de manière que les petites différences ne soient pas perdues. Il n'existe pas de dépôt séparé ; l'article présente des fragments de code autonomes en JAX.
Les tests ont été menés sur l'arithmétique modulaire, où le grokking est bien visible. On appelle ainsi la situation où un modèle se contente longtemps de mémoriser les exemples d'entraînement, puis se met soudain à généraliser.
- Sur la tâche « addition modulo 31 » (a + b mod 31), en bf16, fp32 et fp64, la cross-entropy corrigée atteint 98,9–100 % de précision sur le test. La version standard atteint 93,3–100 %.
- Les alternatives font moins bien. Zero-sum Projection, qui soustrait la moyenne des gradients, affiche 48,9–97,9 %. StableMax, qui remplace softmax par une fonction rationnelle par morceaux, affiche 95,6–97,4 %.
- Sur la tâche a² + b² mod 97 sans régularisation, la variante corrigée atteint 85 % de précision. La cross-entropy standard monte d'abord à 61 %, puis chute à 23 %.
De plus, les sauts brusques de la perte, que l'on désigne dans le grokking par l'effet de fronde (Slingshot), disparaissent. Dans la distillation en bf16, la dérive des poids disparaît aussi, sans qu'il soit nécessaire de passer en fp64, nettement plus coûteux en mémoire et en vitesse.
Que faire concrètement
Pour les ingénieurs, l'essentiel est qu'il s'agit d'un remplacement direct. Seule une fonction de perte change ; l'architecture et les données restent les mêmes. Si vous entraînez ou distillez des modèles en bf16 et constatez des sauts de perte inexpliqués ou un stagnation sur des exemples où le modèle est très sûr de lui, ce correctif mérite d'être testé en priorité. Il coûte moins cher que de passer l'ensemble de l'entraînement à des formats plus précis.
Les réserves doivent aussi être dites. Toutes les expériences ont été menées sur de petites tâches d'arithmétique modulaire. On y crée délibérément de grands écarts entre les logits et des écarts presque nuls entre l'élève et le professeur. Dans un entraînement à grande échelle, ces régimes extrêmes sont rares ; le gain sur de grands modèles de langage n'est donc pas démontré pour l'instant. En production, l'effet ne se manifestera peut-être que dans certains scénarios : entraînement long avec une forte confiance du modèle, distillation agressive, précision de calcul réduite.
En somme, il est prématuré de promettre que vos modèles vont immédiatement s'améliorer. Mais la cross-entropy corrigée mérite d'entrer dans votre batterie de tests A/B, en particulier dans les pipelines en bf16 et de distillation. Si l'effet se confirme à l'échelle réelle, l'amélioration viendra de la réparation des fondations, et non d'une nouvelle architecture.
- 21 nov. 2026Un bug d'arrondi dans le softmax expliquerait le grokking : après correction, la généralisation soudaine disparaît
- 26 oct. 2026DeepMind a trouvé deux erreurs d'arrondi dans softmax : le gradient s'annule trop tôt
- 29 oct. 2026Google DeepMind identifie un défaut du softmax : le gradient s'annule dès un écart de 16,6
- 28 oct. 2026Des chercheurs suppriment le bruit de l'entraînement MTP des LLM en une seule ligne de code
Questions clés sur cet article
Comment l'arrondi étouffe l'apprentissage?
Le premier bug, les auteurs l'appellent Softmax Collapse. Imaginez un élève si sûr de sa réponse que le professeur cesse de le corriger. Dans le modèle, c'est à peu près ce qui se passe. Quand il est très sûr de lui, la probabilité de la bonne classe est arrondie, dans les nombres informatiques, à exactement 100 %. Le signal d'apprentissage se calcule à peu près comme « un moins la probabilité », ce qui donne exactement zéro.
Que sait-on sur Ce qui est proposé et les chiffres obtenus ?
Les auteurs ont réécrit softmax, log-softmax et la cross-entropy, aussi bien pour les étiquettes dures (une seule bonne réponse) que pour les étiquettes souples (un ensemble de probabilités), dans l'espace logarithmique. L'idée est simple : ne pas soustraire des nombres presque identiques, mais calculer de manière que les petites différences ne soient pas perdues. Il n'existe pas de dépôt séparé ; l'article présente des fragments de code autonomes en JAX.
Que sait-on sur Que faire concrètement ?
Pour les ingénieurs, l'essentiel est qu'il s'agit d'un remplacement direct. Seule une fonction de perte change ; l'architecture et les données restent les mêmes. Si vous entraînez ou distillez des modèles en bf16 et constatez des sauts de perte inexpliqués ou un stagnation sur des exemples où le modèle est très sûr de lui, ce correctif mérite d'être testé en priorité. Il coûte moins cher que de passer l'ensemble de l'entraînement à des formats plus précis. Les réserves doivent aussi être dites.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.