El aprendizaje hebbiano sin backprop degeneró en k-means y perdió en todos los frentes

El experimento que cuenta el autor en Habr cabe en una línea: entrenó la capa oculta de una red neuronal sin backprop, solo con reglas hebbianas locales, y la comparó con el descenso de gradiente en tres ejes. Marcador: 0:3. No superó a backprop ni en precisión, ni en el régimen con pocos ejemplos etiquetados, ni en el olvido al cambiar de tarea. La propia regla acabó reducida a un k-means convencional.

El material original se publicó como anuncio con un resumen breve, así que los datasets concretos y las tablas con métricas siguen en el artículo original. Aun así, la lógica del experimento y sus conclusiones se entienden sin ellos.

Qué probó y para qué

El aprendizaje hebbiano parte de una idea antigua: la conexión entre neuronas se refuerza si están activas al mismo tiempo. La propiedad clave de esta regla es que es local. La neurona no necesita la señal global de error que backprop propaga por toda la red. Para el hardware neuromórfico y la plausibilidad biológica, esto resulta atractivo. Por eso reaparece cada cierto tiempo la pregunta de si se pueden obtener buenas características sin gradientes.

El autor planteó la tarea de forma pragmática: sustituir el entrenamiento de la capa oculta por reglas locales y ver dónde gana una red así. Apostó por tres escenarios en los que backprop tiene puntos débiles: pocas etiquetas, olvido catastrófico y precisión general.

Dónde se rompía todo

Según el autor, hubo problemas de sobra para una historia aparte.

• La red mataba sus propias neuronas. Es el mal clásico del aprendizaje competitivo: si una neurona deja de ganar, no recibe actualizaciones y se queda muerta. La capacidad de la capa se reduce, aunque formalmente haya las mismas neuronas.
• La evolución de reglas se engañaba a sí misma. Cuando la forma de la regla de actualización se busca mediante búsqueda evolutiva, la función de fitness se convierte en el objetivo, y el algoritmo encuentra atajos en lugar de características útiles. La métrica sube; la calidad de la representación, no.
• Los errores del propio autor. Escribe sin rodeos que se equivocó, y es la parte más valiosa del análisis: los resultados negativos en este campo se publican pocas veces.

Por qué k-means era inevitable

El desenlace parece lógico. Si en la regla hebbiana se mantiene la competencia entre neuronas (gana una sola, como en winner-take-all) y la normalización de los pesos, la actualización se reduce a desplazar el vector ganador hacia la entrada: w ← w + η(x − w). Es la fórmula de k-means online. Cada neurona se convierte en el centroide de un clúster de entradas.

Una capa así encuentra de forma honesta la estructura de los datos sin etiquetas, pero la estructura de los clústeres no tiene por qué coincidir con las fronteras de las clases. Backprop optimiza las características para una tarea concreta; k-means, para la geometría de la entrada. De ahí la derrota en precisión. La expectativa de que las características basadas en clústeres sirvieran con pocas etiquetas tampoco se cumplió. Y este esquema tampoco ganó en olvido.

Conclusión práctica

Para quienes experimentan con alternativas a backprop, esta historia deja pasos concretos.

• Compare primero la nueva regla con k-means y PCA. Si el resultado coincide, no hay nada que inventar.
• Vigile la proporción de neuronas activas durante el entrenamiento. Las unidades muertas se ven enseguida si se cuentan.
• En la búsqueda evolutiva de reglas, compruebe lo encontrado con tareas que no participaron en la selección.
• Mantenga un baseline sólido con backprop sobre los mismos datos y con el mismo presupuesto de cómputo.

De esto no se deduce que el aprendizaje local carezca de futuro. Pero una regla hebbiana simple en una sola capa oculta, a juzgar por esta experiencia, sigue siendo una buena implementación de clustering y nada más.