Loi de Robustesse des Réseaux de Neurones à Deux Couches : Preuve de la Conjecture de Bubeck

Les mathématiciens ont prouvé une conjecture de longue date de Sanjiv Bubeck, Yu Li et Hariharan Nagarajan selon laquelle les réseaux de neurones à deux couches avec des poids arbitraires, ajustés aux données bruyantes, possèdent nécessairement une constante de Lipschitz élevée. Le résultat a été publié sur arXiv en juillet 2026 et dépasse les limitations précédentes sur la taille des paramètres qui étaient jugées nécessaires pour la preuve.

Histoire de l'Hypothèse

Il y a plusieurs années, Sanjiv Bubeck, Yu Li et Hariharan Nagarajan ont proposé une hypothèse: pour des données typiques, tout réseau de neurones à deux couches avec m neurones qui s'adapte exactement à n étiquettes bruyantes doit avoir une constante de Lipschitz d'au moins √(n/m) — indépendamment des contraintes de poids. Bubeck et Selke ont ultérieurement prouvé une version plus faible de cette loi, mais uniquement pour les paramètres bornés. En pratique, cela ne correspondait pas à la réalité: les poids des réseaux de neurones peuvent souvent être arbitraires et très grands.

Ce qui a été prouvé

Dans le nouveau travail, les auteurs surmontent cette limitation et prouvent la conjecture complètement — pour les réseaux à deux couches avec poids non bornés. Le résultat s'applique à toutes les fonctions d'activation linéaires par morceaux continues, y compris le populaire ReLU.

• Prouvé pour les données uniformément distribuées sur la sphère S^(d-1) (d ≥ 3) ou d'une distribution gaussienne N(0, I_d/d)
• Valide pour tous les poids, biais et connexions de saut entre couches
• Le résultat est suffisamment précis: l'erreur n'est qu'un facteur logarithmique
• Le théorème relie la constante de Lipschitz à la taille de l'erreur en dessous du niveau de bruit (ε), à la taille du réseau et à la dimensionalité des données

Comment les Limitations Précédentes Ont Été Surmontées

Les preuves précédentes utilisaient une méthode de couverture d'espace de paramètres — elles partitionnaient l'ensemble de tous les poids possibles en régions finies et analysaient chacune. Cela fonctionnait avec des contraintes de poids polynomiales, mais devenait impossible pour les poids non bornés, car il y aurait infiniment de telles régions.

Les auteurs ont changé de stratégie: au lieu de couvrir l'espace des paramètres, ils utilisent la couverture de l'espace fonctionnel — en analysant la fonction réalisée elle-même et ses propriétés géométriques. L'outil central de la preuve est le lemme de rigidité des coudes: en haute dimension, chaque coefficient de chaque partie linéaire d'une fonction linéaire par morceaux est contrôlé par sa constante de Lipschitz, car les coudes (points de rupture) sur différents hyperplans ne peuvent pas se compenser mutuellement aux points de données typiques.

Ce que cela signifie

La loi de robustesse révèle un compromis fondamental en apprentissage automatique: si un réseau de neurones veut apprendre des données bruyantes avec haute précision, il doit maintenir une sensibilité élevée aux petites perturbations d'entrée — c'est une loi mathématique inévitable, pas simplement une particularité des algorithmes existants. Le résultat explique pourquoi la régularisation et l'injection de bruit aident les réseaux de neurones à mieux généraliser: elles ralentissent explicitement l'adaptation du réseau au bruit, équilibrant la précision et la robustesse.