Lei de Robustez de Redes Neurais de Duas Camadas: Prova da Conjectura de Bubeck

Os matemáticos provaram uma conjectura de longa data de Sanjiv Bubeck, Yu Li e Hariharan Nagarajan de que redes neurais de duas camadas com pesos arbitrários, ajustadas a dados ruidosos, necessariamente têm uma constante de Lipschitz alta. O resultado foi publicado no arXiv em julho de 2026 e supera limitações anteriores no tamanho de parâmetros que eram consideradas necessárias para a prova.

História da Hipótese

Há vários anos, Sanjiv Bubeck, Yu Li e Hariharan Nagarajan propuseram uma hipótese: para dados típicos, qualquer rede neural de duas camadas com m neurônios que se ajuste exatamente a n rótulos ruidosos deve ter uma constante de Lipschitz de pelo menos √(n/m) — independentemente de restrições de peso. Bubeck e Selke provaram posteriormente uma versão mais fraca desta lei, mas apenas para parâmetros limitados. Na prática, isto não correspondia à realidade: pesos de redes neurais frequentemente podem ser arbitrários e muito grandes.

O que foi provado

No novo trabalho, os autores superam esta limitação e provam a conjectura completamente — para redes de duas camadas com pesos ilimitados. O resultado vale para todas as funções de ativação linear por partes contínuas, incluindo o popular ReLU.

• Provado para dados uniformemente distribuídos na esfera S^(d-1) (d ≥ 3) ou de uma distribuição gaussiana N(0, I_d/d)
• Válido para qualquer peso, viés e conexões de salto entre camadas
• O resultado é suficientemente preciso: o erro é apenas um fator logarítmico
• O teorema relaciona a constante de Lipschitz ao tamanho do erro abaixo do nível de ruído (ε), tamanho da rede e dimensionalidade dos dados

Como as Limitações Anteriores Foram Superadas

Provas anteriores usavam um método de cobertura do espaço de parâmetros — particionavam o conjunto de todos os pesos possíveis em regiões finitas e analisavam cada uma. Isto funcionava com restrições de peso polinomial, mas se tornou impossível para pesos ilimitados, já que haveria infinitas regiões deste tipo.

Os autores mudaram de estratégia: em vez de cobrir o espaço de parâmetros, eles usam cobertura do espaço funcional — analisando a função realizada em si e suas propriedades geométricas. A ferramenta central da prova é o lema de rigidez de kink: em alta dimensão, cada coeficiente de cada parte linear de uma função linear por partes é controlado por sua constante de Lipschitz, porque kinks (pontos de quebra) em diferentes hiperplanos não podem se compensar mutuamente em pontos de dados típicos.

O que isto significa

A lei de robustez revela um compromisso fundamental em aprendizado de máquina: se uma rede neural quer aprender dados ruidosos com alta precisão, ela deve manter alta sensibilidade a pequenas perturbações de entrada — isso é uma lei matemática inevitável, não apenas uma peculiaridade dos algoritmos existentes. O resultado explica por que regularização e injeção de ruído ajudam redes neurais a generalizar melhor: eles explicitamente atrasam a adaptação da rede ao ruído, equilibrando precisão e robustez.