Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)

DeepMind a trouvé deux erreurs d'arrondi dans softmax : le gradient s'annule trop tôt

Google DeepMind a identifié deux erreurs d'arrondi dans softmax et cross-entropy, des fonctions sur lesquelles repose presque tout réseau de neurones. Lorsque le modèle est presque sûr à 100 % de sa réponse, l'ordinateur annule un gradient minuscule, c'est-à-dire la correction des poids, alors qu'il est non nul sur le papier. La seconde erreur apparaît lors de la distillation, quand un petit modèle copie un grand. La solution consiste à réordonner les opérations dans la formule : les mathématiques restent les mêmes, mais les petits nombres ne sont plus perdus.

Traité par IA depuis TG: @mishin_learning (Мишин Лернинг) ; édité par Hamidun News
DeepMind a trouvé deux erreurs d'arrondi dans softmax : le gradient s'annule trop tôt
Source : TG: @mishin_learning (Мишин Лернинг). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @mishin_learning (Мишин Лернинг) ↗
Rédacteur en chef
Chiffre clé #1Le label smoothing et la basse température atténuent la première erreur, mais ne corrigent pas le calcul
Chiffre clé #2La seconde erreur reste visible même lorsque l'élève reproduit parfaitement le professeur
Chiffre clé #3Aucune nouvelle couche ni nouvel hyperparamètre n'est nécessaire : seul l'ordre des opérations change

Softmax et cross-entropy figurent dans presque tous les réseaux de neurones, du classifieur d'images au grand modèle de langage. Softmax transforme les scores bruts du modèle en probabilités, tandis que cross-entropy compare ces probabilités à la bonne réponse et calcule l'erreur. Ces deux fonctions sont tellement basiques et considérées comme « réglées » que presque personne n'y regarde de près. Les chercheurs de Google DeepMind y ont regardé de plus près et ont trouvé deux erreurs numériques : à cause d'elles, l'entraînement peut ne pas se dérouler comme prévu. Le travail s'intitule « A Fix for Softmax and Cross-Entropy » et est publié sur arXiv.

Une précision importante : l'erreur ne vient pas des mathématiques. Les formules sont correctes. Le problème réside dans la façon dont l'ordinateur les calcule. Les nombres à virgule flottante sont stockés avec une précision limitée, et les très petites valeurs sont tout simplement perdues.

Où le gradient disparaît

Le gradient est le signal qui indique dans quel sens et de combien corriger les poids. La première erreur apparaît lorsque le modèle devient trop sûr de la bonne réponse. Supposons qu'il soit sûr à 99,999999 % qu'une photo représente un chat. Sur le papier, il lui manque encore un tout petit peu pour atteindre l'idéal : le gradient reste minuscule, mais non nul. Or l'ordinateur l'arrondit à zéro prématurément : pour lui, la confiance vaut déjà un, et il semble n'y avoir plus rien à apprendre.

Le plus simple est d'imaginer une caisse qui ignore tout ce qui est inférieur à un centime. Un seul achat ne change rien. Mais l'entraînement comporte des millions d'étapes, et une part du signal utile disparaît à chacune d'elles.

La seconde erreur survient lors de la distillation, c'est-à-dire lorsqu'un petit modèle élève reproduit les réponses d'un grand modèle professeur. Selon les auteurs, l'erreur numérique se manifeste même lorsque l'élève reproduit parfaitement le professeur. L'objectif est alors déjà atteint, et pourtant le calcul reste faussé.

À quel point le problème est grave

Les chercheurs soulignent eux-mêmes que la situation n'est pas aussi alarmante qu'elle peut paraître. Des techniques connues de longue date protègent déjà en partie contre la première difficulté. Le label smoothing empêche la bonne réponse d'atteindre une confiance de 100 %. La basse température empêche également le modèle de devenir excessivement sûr de lui. Dans ces cas, le gradient n'atteint pas la zone où l'arrondi l'annule.

Mais ces techniques traitent la conséquence, pas la cause. Elles ne corrigent pas l'erreur de calcul elle-même. De plus, elles modifient l'objectif d'entraînement. Le label smoothing rend délibérément le modèle moins catégorique, ce qui peut poser problème là où une calibration honnête des probabilités est essentielle.

La solution proposée par les auteurs

La solution s'est révélée simple : réécrire la formule, c'est-à-dire modifier l'ordre des opérations. Le résultat mathématique reste le même, mais l'ordinateur ne perd plus les petits nombres. Il n'est besoin ni de nouvelles couches, ni d'une autre architecture, ni d'hyperparamètres supplémentaires. Il s'agit d'une correction au niveau de l'implémentation même de la fonction.

Pour les développeurs, deux conclusions pratiques en découlent :

  • Si vous écrivez votre propre noyau pour softmax ou cross-entropy, par exemple en CUDA ou avec Triton, ou si vous entraînez un modèle en basse précision, vérifiez la manière dont il traite les petites probabilités.
  • Si vous utilisez le label smoothing ou la température par habitude, gardez à l'esprit qu'ils peuvent masquer le problème numérique sans le supprimer.

Ce que nous ne savons pas encore

Le résumé de la recherche ne donne aucun chiffre. On ignore dans quelle mesure la correction améliore la qualité des modèles, sur quelles tâches l'effet est visible et comment il se manifeste sur les grands modèles de langage. Il est possible que les frameworks populaires tiennent déjà compte de certaines de ces subtilités. Pour évaluer le gain réel, il faut lire l'article lui-même et examiner les expériences.

Cela dit, le fait en lui-même est révélateur. Même dans les briques les plus élémentaires de l'IA, subsistent des points où une arithmétique imprécise influence silencieusement l'entraînement. La correction est peu coûteuse, et elle concerne potentiellement tous ceux qui entraînent des réseaux de neurones. Ceux qui travaillent sur l'entraînement et sur leurs propres noyaux ont tout intérêt à parcourir ce travail.

Dossier

Questions clés sur cet article

Que sait-on sur Où le gradient disparaît ?

Le gradient est le signal qui indique dans quel sens et de combien corriger les poids. La première erreur apparaît lorsque le modèle devient trop sûr de la bonne réponse. Supposons qu'il soit sûr à 99,999999 % qu'une photo représente un chat. Sur le papier, il lui manque encore un tout petit peu pour atteindre l'idéal : le gradient reste minuscule, mais non nul. Or l'ordinateur l'arrondit à zéro prématurément : pour lui, la confiance vaut déjà un, et il semble n'y avoir plus rien à apprendre.

Que sait-on sur à quel point le problème est grave ?

Les chercheurs soulignent eux-mêmes que la situation n'est pas aussi alarmante qu'elle peut paraître. Des techniques connues de longue date protègent déjà en partie contre la première difficulté. Le label smoothing empêche la bonne réponse d'atteindre une confiance de 100 %. La basse température empêche également le modèle de devenir excessivement sûr de lui. Dans ces cas, le gradient n'atteint pas la zone où l'arrondi l'annule. Mais ces techniques traitent la conséquence, pas la cause.

Que sait-on sur La solution proposée par les auteurs ?

La solution s'est révélée simple : réécrire la formule, c'est-à-dire modifier l'ordre des opérations. Le résultat mathématique reste le même, mais l'ordinateur ne perd plus les petits nombres. Il n'est besoin ni de nouvelles couches, ni d'une autre architecture, ni d'hyperparamètres supplémentaires. Il s'agit d'une correction au niveau de l'implémentation même de la fonction.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…