Lei de robustez de redes neurais de duas camadas: provada a conjectura de Bubeck

Matemáticos provaram uma conjectura de anos de Sébastien Bubeck, Yuanzhi Li e Dheeraj Nagaraj: redes neurais de duas camadas com pesos arbitrários, ajustadas a dados ruidosos, têm necessariamente constante de Lipschitz alta. O resultado foi publicado no arXiv em julho de 2026 e supera restrições anteriores sobre o tamanho dos parâmetros, que eram consideradas necessárias para a prova.

História da conjectura

Há alguns anos, Bubeck, Li e Nagaraj levantaram a hipótese de que, para dados típicos, qualquer rede neural de duas camadas com m neurônios que se ajuste exatamente a n rótulos ruidosos deve ter constante de Lipschitz de pelo menos √(n/m), independentemente de restrições sobre os pesos. Bubeck e Selke provaram depois uma versão mais fraca dessa lei, mas apenas para parâmetros limitados. Na prática, isso não correspondia à realidade: os pesos das redes neurais costumam poder ser arbitrários e muito grandes.

O que foi provado

No novo trabalho, os autores superam essa limitação e provam a conjectura por completo, para redes de duas camadas com pesos ilimitados. O resultado vale para todas as funções de ativação contínuas lineares por partes, incluindo a popular ReLU.

• Provado para dados distribuídos uniformemente na esfera S^(d-1) (d ≥ 3) ou vindos da distribuição gaussiana N(0, I_d/d)
• Vale para quaisquer pesos, vieses e conexões de salto (skip connections) entre camadas
• O resultado é bastante preciso: a margem de erro é apenas um fator logarítmico
• O teorema relaciona a constante de Lipschitz ao nível de erro abaixo do ruído (ε), ao tamanho da rede e à dimensão dos dados

Como as limitações anteriores foram superadas

As provas anteriores usavam o método de cobertura do espaço de parâmetros: dividiam o conjunto de todos os pesos possíveis em regiões finitas e analisavam cada uma. Isso funcionava com limites polinomiais sobre os pesos, mas se tornava impossível para pesos ilimitados, já que essas regiões são infinitas.

Os autores mudaram a estratégia: em vez de cobrir o espaço de parâmetros, cobrem o espaço de funções, analisando a própria função realizada e suas propriedades geométricas. A ferramenta central da prova é o lema de rigidez de kinks (kink rigidity lemma): em alta dimensão, cada coeficiente de cada trecho linear de uma função linear por partes é controlado por sua constante de Lipschitz, porque os kinks (pontos de quebra) em hiperplanos diferentes não conseguem se compensar mutuamente em pontos de dados típicos.

O que isso significa

A lei de robustez revela um compromisso fundamental no aprendizado de máquina: se uma rede neural quer aprender dados ruidosos com alta precisão, ela é forçada a manter alta sensibilidade a pequenas perturbações da entrada. É uma lei matemática inevitável, e não apenas uma peculiaridade dos algoritmos atuais. O resultado explica por que regularização e injeção de ruído ajudam as redes a generalizar melhor: elas desaceleram explicitamente a adaptação da rede ao ruído, equilibrando precisão e estabilidade.