Ley de robustez de las redes neuronales de dos capas: demostrada la conjetura de Bubeck

Matemáticos han demostrado una conjetura de años de Sébastien Bubeck, Yuanzhi Li y Dheeraj Nagaraj: las redes neuronales de dos capas con pesos arbitrarios, ajustadas a datos con ruido, tienen necesariamente una constante de Lipschitz alta. El resultado se publicó en arXiv en julio de 2026 y supera las restricciones previas sobre el tamaño de los parámetros, que se consideraban necesarias para la demostración.

Historia de la conjetura

Hace unos años, Bubeck, Li y Nagaraj plantearon que, para datos típicos, cualquier red neuronal de dos capas con m neuronas que se ajuste exactamente a n etiquetas ruidosas debe tener una constante de Lipschitz de al menos √(n/m), independientemente de las restricciones sobre los pesos. Bubeck y Selke demostraron después una versión más débil de esta ley, pero solo para parámetros acotados. En la práctica, eso no se correspondía con la realidad: los pesos de las redes neuronales suelen poder ser arbitrarios y muy grandes.

Qué se ha demostrado

En el nuevo trabajo, los autores superan esta limitación y demuestran la conjetura por completo, para redes de dos capas con pesos no acotados. El resultado es válido para todas las funciones de activación continuas lineales a trozos, incluida la popular ReLU.

• Demostrado para datos distribuidos uniformemente sobre la esfera S^(d-1) (d ≥ 3) o procedentes de la distribución gaussiana N(0, I_d/d)
• Válido para cualesquiera pesos, sesgos y conexiones de salto (skip connections) entre capas
• El resultado es bastante preciso: el error es solo un factor logarítmico
• El teorema relaciona la constante de Lipschitz con el nivel de error por debajo del ruido (ε), el tamaño de la red y la dimensión de los datos

Cómo se superaron las limitaciones anteriores

Las demostraciones previas usaban el método de recubrimiento del espacio de parámetros: dividían el conjunto de todos los pesos posibles en regiones finitas y analizaban cada una. Funcionaba con cotas polinómicas sobre los pesos, pero resultaba imposible con pesos no acotados, ya que esas regiones son infinitas.

Los autores cambiaron de estrategia: en vez de recubrir el espacio de parámetros, recubren el espacio de funciones, es decir, analizan la propia función realizada y sus propiedades geométricas. La herramienta central de la demostración es el lema de rigidez de los kinks (kink rigidity lemma): en alta dimensión, cada coeficiente de cada tramo lineal de una función lineal a trozos queda controlado por su constante de Lipschitz, porque los kinks (puntos de quiebre) situados en distintos hiperplanos no pueden compensarse entre sí en puntos de datos típicos.

Qué significa

La ley de robustez revela un compromiso fundamental en el aprendizaje automático: si una red neuronal quiere aprender datos ruidosos con alta precisión, se ve obligada a mantener una alta sensibilidad a pequeñas perturbaciones de la entrada. Es una ley matemática inevitable, no solo una peculiaridad de los algoritmos actuales. El resultado explica por qué la regularización y la inyección de ruido ayudan a las redes a generalizar mejor: frenan de forma explícita la adaptación de la red al ruido, equilibrando precisión y estabilidad.