DeepMind a trouvé deux erreurs d'arrondi dans softmax : le gradient s'annule trop tôt
Google DeepMind a identifié deux erreurs d'arrondi dans softmax et cross-entropy, des fonctions sur lesquelles repose presque tout réseau de neurones. Lorsque le modèle est presque sûr à 100 % de sa réponse, l'ordinateur annule un gradient minuscule, c'est-à-dire la correction des poids, alors qu'il est non nul sur le papier. La seconde erreur apparaît lors de la distillation, quand un petit modèle copie un grand. La solution consiste à réordonner les opérations dans la formule : les mathématiques restent les mêmes, mais les petits nombres ne sont plus perdus.
Traité par IA depuis TG: @mishin_learning (Мишин Лернинг) ; édité par Hamidun News
Softmax et cross-entropy figurent dans presque tous les réseaux de neurones, du classifieur d'images au grand modèle de langage. Softmax transforme les scores bruts du modèle en probabilités, tandis que cross-entropy compare ces probabilités à la bonne réponse et calcule l'erreur. Ces deux fonctions sont tellement basiques et considérées comme « réglées » que presque personne n'y regarde de près. Les chercheurs de Google DeepMind y ont regardé de plus près et ont trouvé deux erreurs numériques : à cause d'elles, l'entraînement peut ne pas se dérouler comme prévu. Le travail s'intitule « A Fix for Softmax and Cross-Entropy » et est publié sur arXiv.
Une précision importante : l'erreur ne vient pas des mathématiques. Les formules sont correctes. Le problème réside dans la façon dont l'ordinateur les calcule. Les nombres à virgule flottante sont stockés avec une précision limitée, et les très petites valeurs sont tout simplement perdues.
Où le gradient disparaît
Le gradient est le signal qui indique dans quel sens et de combien corriger les poids. La première erreur apparaît lorsque le modèle devient trop sûr de la bonne réponse. Supposons qu'il soit sûr à 99,999999 % qu'une photo représente un chat. Sur le papier, il lui manque encore un tout petit peu pour atteindre l'idéal : le gradient reste minuscule, mais non nul. Or l'ordinateur l'arrondit à zéro prématurément : pour lui, la confiance vaut déjà un, et il semble n'y avoir plus rien à apprendre.
Le plus simple est d'imaginer une caisse qui ignore tout ce qui est inférieur à un centime. Un seul achat ne change rien. Mais l'entraînement comporte des millions d'étapes, et une part du signal utile disparaît à chacune d'elles.
La seconde erreur survient lors de la distillation, c'est-à-dire lorsqu'un petit modèle élève reproduit les réponses d'un grand modèle professeur. Selon les auteurs, l'erreur numérique se manifeste même lorsque l'élève reproduit parfaitement le professeur. L'objectif est alors déjà atteint, et pourtant le calcul reste faussé.
À quel point le problème est grave
Les chercheurs soulignent eux-mêmes que la situation n'est pas aussi alarmante qu'elle peut paraître. Des techniques connues de longue date protègent déjà en partie contre la première difficulté. Le label smoothing empêche la bonne réponse d'atteindre une confiance de 100 %. La basse température empêche également le modèle de devenir excessivement sûr de lui. Dans ces cas, le gradient n'atteint pas la zone où l'arrondi l'annule.
Mais ces techniques traitent la conséquence, pas la cause. Elles ne corrigent pas l'erreur de calcul elle-même. De plus, elles modifient l'objectif d'entraînement. Le label smoothing rend délibérément le modèle moins catégorique, ce qui peut poser problème là où une calibration honnête des probabilités est essentielle.
La solution proposée par les auteurs
La solution s'est révélée simple : réécrire la formule, c'est-à-dire modifier l'ordre des opérations. Le résultat mathématique reste le même, mais l'ordinateur ne perd plus les petits nombres. Il n'est besoin ni de nouvelles couches, ni d'une autre architecture, ni d'hyperparamètres supplémentaires. Il s'agit d'une correction au niveau de l'implémentation même de la fonction.
Pour les développeurs, deux conclusions pratiques en découlent :
- Si vous écrivez votre propre noyau pour softmax ou cross-entropy, par exemple en CUDA ou avec Triton, ou si vous entraînez un modèle en basse précision, vérifiez la manière dont il traite les petites probabilités.
- Si vous utilisez le label smoothing ou la température par habitude, gardez à l'esprit qu'ils peuvent masquer le problème numérique sans le supprimer.
Ce que nous ne savons pas encore
Le résumé de la recherche ne donne aucun chiffre. On ignore dans quelle mesure la correction améliore la qualité des modèles, sur quelles tâches l'effet est visible et comment il se manifeste sur les grands modèles de langage. Il est possible que les frameworks populaires tiennent déjà compte de certaines de ces subtilités. Pour évaluer le gain réel, il faut lire l'article lui-même et examiner les expériences.
Cela dit, le fait en lui-même est révélateur. Même dans les briques les plus élémentaires de l'IA, subsistent des points où une arithmétique imprécise influence silencieusement l'entraînement. La correction est peu coûteuse, et elle concerne potentiellement tous ceux qui entraînent des réseaux de neurones. Ceux qui travaillent sur l'entraînement et sur leurs propres noyaux ont tout intérêt à parcourir ce travail.
- 21 nov. 2026Isomorphic Labs de Demis Hassabis lève 5 milliards de dollars pour la conception de médicaments par IA
- 21 nov. 2026Google a donné à Claude et Cursor le panneau DevTools : l'agent trouve seul pourquoi le site rame
- 21 nov. 2026Osmo a recruté 30 nez professionnels et constitué 10 millions de descriptions d'odeurs pour une IA
- 21 nov. 2026Google Research publie PaperOrchestra : cinq agents d'IA rédigent un article scientifique à partir de brouillons
Questions clés sur cet article
Que sait-on sur Où le gradient disparaît ?
Le gradient est le signal qui indique dans quel sens et de combien corriger les poids. La première erreur apparaît lorsque le modèle devient trop sûr de la bonne réponse. Supposons qu'il soit sûr à 99,999999 % qu'une photo représente un chat. Sur le papier, il lui manque encore un tout petit peu pour atteindre l'idéal : le gradient reste minuscule, mais non nul. Or l'ordinateur l'arrondit à zéro prématurément : pour lui, la confiance vaut déjà un, et il semble n'y avoir plus rien à apprendre.
Que sait-on sur à quel point le problème est grave ?
Les chercheurs soulignent eux-mêmes que la situation n'est pas aussi alarmante qu'elle peut paraître. Des techniques connues de longue date protègent déjà en partie contre la première difficulté. Le label smoothing empêche la bonne réponse d'atteindre une confiance de 100 %. La basse température empêche également le modèle de devenir excessivement sûr de lui. Dans ces cas, le gradient n'atteint pas la zone où l'arrondi l'annule. Mais ces techniques traitent la conséquence, pas la cause.
Que sait-on sur La solution proposée par les auteurs ?
La solution s'est révélée simple : réécrire la formule, c'est-à-dire modifier l'ordre des opérations. Le résultat mathématique reste le même, mais l'ordinateur ne perd plus les petits nombres. Il n'est besoin ni de nouvelles couches, ni d'une autre architecture, ni d'hyperparamètres supplémentaires. Il s'agit d'une correction au niveau de l'implémentation même de la fonction.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.