Loi de robustesse des réseaux de neurones à deux couches : la conjecture de Bubeck démontrée

Des mathématiciens ont démontré une conjecture vieille de plusieurs années de Sébastien Bubeck, Yuanzhi Li et Dheeraj Nagaraj : les réseaux de neurones à deux couches aux poids arbitraires, ajustés à des données bruitées, ont nécessairement une constante de Lipschitz élevée. Le résultat a été publié sur arXiv en juillet 2026 et lève les restrictions antérieures sur la taille des paramètres, jugées nécessaires à la démonstration.

Historique de la conjecture

Il y a quelques années, Bubeck, Li et Nagaraj ont avancé que, pour des données typiques, tout réseau à deux couches de m neurones qui s'ajuste exactement à n étiquettes bruitées doit avoir une constante de Lipschitz d'au moins √(n/m), indépendamment des contraintes sur les poids. Bubeck et Selke ont ensuite démontré une version plus faible de cette loi, mais uniquement pour des paramètres bornés. En pratique, cela ne correspondait pas à la réalité : les poids des réseaux de neurones peuvent souvent être arbitraires et très grands.

Ce qui a été démontré

Dans ce nouveau travail, les auteurs lèvent cette limitation et démontrent la conjecture dans sa totalité, pour des réseaux à deux couches aux poids non bornés. Le résultat vaut pour toutes les fonctions d'activation continues linéaires par morceaux, dont la populaire ReLU.

• Démontré pour des données uniformément réparties sur la sphère S^(d-1) (d ≥ 3) ou issues de la loi gaussienne N(0, I_d/d)
• Valable pour tous poids, biais et connexions de saut (skip connections) entre couches
• Le résultat est assez précis : l'écart n'est que d'un facteur logarithmique
• Le théorème relie la constante de Lipschitz au niveau d'erreur sous le bruit (ε), à la taille du réseau et à la dimension des données

Comment les anciennes limites ont été dépassées

Les démonstrations précédentes recouraient à la méthode de recouvrement de l'espace des paramètres : elles découpaient l'ensemble des poids possibles en régions finies et analysaient chacune d'elles. Cela fonctionnait avec des bornes polynomiales sur les poids, mais devenait impossible pour des poids non bornés, ces régions étant en nombre infini.

Les auteurs ont changé de stratégie : plutôt que de recouvrir l'espace des paramètres, ils recouvrent l'espace des fonctions, en analysant la fonction réalisée elle-même et ses propriétés géométriques. L'outil central de la démonstration est le lemme de rigidité des kinks (kink rigidity lemma) : en grande dimension, chaque coefficient de chaque morceau linéaire d'une fonction linéaire par morceaux est contrôlé par sa constante de Lipschitz, car les kinks (points de rupture) situés sur des hyperplans différents ne peuvent pas se compenser mutuellement en des points de données typiques.

Ce que cela signifie

La loi de robustesse révèle un compromis fondamental en apprentissage automatique : pour apprendre des données bruitées avec une grande précision, un réseau de neurones doit rester très sensible aux petites perturbations de l'entrée. C'est une loi mathématique inévitable, et pas seulement une particularité des algorithmes actuels. Le résultat explique pourquoi la régularisation et l'injection de bruit aident les réseaux à mieux généraliser : elles ralentissent explicitement l'adaptation du réseau au bruit, en équilibrant précision et stabilité.