Ley de Robustez de Redes Neurales de Dos Capas: Prueba de la Conjetura de Bubeck

Los matemáticos demostraron una conjetura de larga data de Sanjiv Bubeck, Yu Li y Hariharan Nagarajan de que las redes neuronales de dos capas con pesos arbitrarios, ajustadas a datos ruidosos, necesariamente tienen una constante de Lipschitz alta. El resultado fue publicado en arXiv en julio de 2026 y supera limitaciones anteriores en el tamaño de parámetros que se consideraban necesarias para la demostración.

Historia de la hipótesis

Hace varios años, Sanjiv Bubeck, Yu Li y Hariharan Nagarajan plantearon una hipótesis: para datos típicos, cualquier red neuronal de dos capas con m neuronas que se ajuste exactamente a n etiquetas ruidosas debe tener una constante de Lipschitz de al menos √(n/m) — independientemente de las restricciones de peso. Bubeck y Selke demostraron posteriormente una versión más débil de esta ley, pero solo para parámetros acotados. En la práctica, esto no coincidía con la realidad: los pesos de las redes neuronales pueden ser a menudo arbitrarios y muy grandes.

Lo que fue demostrado

En el nuevo trabajo, los autores superan esta limitación y demuestran la conjetura completamente — para redes de dos capas con pesos sin acotación. El resultado se mantiene para todas las funciones de activación lineales por partes continuas, incluido el popular ReLU.

• Demostrado para datos distribuidos uniformemente en la esfera S^(d-1) (d ≥ 3) o de una distribución gaussiana N(0, I_d/d)
• Válido para cualquier peso, sesgo y conexiones de salto entre capas
• El resultado es suficientemente preciso: el error es solo un factor logarítmico
• El teorema relaciona la constante de Lipschitz con el tamaño del error por debajo del nivel de ruido (ε), el tamaño de la red y la dimensionalidad de los datos

Cómo se superaron las limitaciones previas

Las pruebas previas utilizaron un método de cobertura del espacio de parámetros — dividieron el conjunto de todos los pesos posibles en regiones finitas y analizaron cada una. Esto funcionó con restricciones de peso polinomial, pero se hizo imposible para pesos sin acotación, ya que habría infinitas regiones de este tipo.

Los autores cambiaron de estrategia: en lugar de cubrir el espacio de parámetros, utilizan cobertura del espacio funcional — analizando la función realizada en sí misma y sus propiedades geométricas. La herramienta central de la prueba es el lema de rigidez de kink: en dimensión alta, cada coeficiente de cada parte lineal de una función lineal por partes está controlado por su constante de Lipschitz, porque los kinks (puntos de quiebre) en diferentes hiperplanos no pueden compensarse mutuamente en puntos de datos típicos.

Lo que significa

La ley de robustez revela un compromiso fundamental en el aprendizaje automático: si una red neuronal quiere aprender datos ruidosos con alta precisión, debe mantener alta sensibilidad a pequeñas perturbaciones de entrada — esto es una ley matemática inevitable, no solo una peculiaridad de los algoritmos existentes. El resultado explica por qué la regularización y la inyección de ruido ayudan a las redes neuronales a generalizar mejor: ralentizan explícitamente la adaptación de la red al ruido, equilibrando precisión y robustez.