Las redes neuronales son más modulares de lo que muestran sus neuronas: tres niveles de verificación

Se suele pensar que las redes neuronales se resisten a descomponerse en partes: una misma neurona participa en varias funciones distintas, y la conclusión parece obvia. Estas redes no tienen organización modular. Los autores del preprint arXiv:2610.12842 no están de acuerdo. Introducen una jerarquía anidada de tres niveles de modularidad y muestran, con modelos de visión, modelos de lenguaje y redes recurrentes multitarea, que las redes sin módulos a nivel de neurona suelen tener módulos funcionales nítidos a nivel de subespacio.

Tres niveles en lugar de una sola pregunta

La idea central del trabajo es que la pregunta «¿es modular la red?» está planteada de forma demasiado burda. Si se exige que cálculos distintos ocupen neuronas que no se solapan, la mayoría de las redes suspenderá la prueba. Pero ese es el criterio más estricto posible. Los autores construyen tres criterios, cada uno más laxo que el anterior:

• Unit-level. Cálculos distintos ocupan conjuntos de neuronas que no se solapan. Es la noción clásica de módulo.
• Orthogonal. Existe una rotación del espacio de activaciones tras la cual se observan subespacios funcionalmente independientes.
• Linear. Un mapeo lineal acotado separa en subespacios independientes los cálculos relevantes para la tarea.
• Verificación. Para cada nivel se ha desarrollado un método que aprende la descomposición. El resultado se evalúa de forma causal mediante ablación selectiva: se elimina un subespacio y se observa qué función se ve afectada.

Los niveles están anidados. La modularidad a nivel de neurona implica la ortogonal, y esta implica la lineal. El recíproco no se cumple, y es en esa brecha donde los autores encuentran el efecto.

Qué se encontró en la práctica

En los modelos de visión, los subespacios de contenido y de estilo se separan al aplicar ablación, aunque usen poblaciones de neuronas que se solapan. En los modelos de lenguaje ocurre lo mismo con la sintaxis y la semántica: eliminar un subespacio no rompe el otro.

El trabajo incluye además una comparación con la neurociencia. Los subespacios aprendidos coinciden de forma desigual con los datos del cerebro. Los subespacios de contenido predicen mejor la actividad de las áreas superiores de la corteza visual, y los de estilo predicen mejor la de las inferiores. Los subespacios semánticos predicen la actividad de la corteza del lenguaje con más precisión que los sintácticos. Es un argumento indirecto a favor de que la separación encontrada refleja la estructura de la propia tarea y no un artefacto del método.

El tercer caso son las RNN entrenadas a la vez en varias tareas cognitivas. Hasta ahora se las consideraba no modulares. La descomposición propuesta reveló entre las tareas dobles disociaciones nítidas: eliminar un subespacio rompe una tarea y no afecta a la otra, y eliminar el otro tiene el efecto contrario. En neurociencia, la doble disociación se considera una prueba sólida de separación de funciones.

Qué aporta a la interpretabilidad

La conclusión práctica para quienes trabajan en interpretabilidad mecanicista es que no hace falta buscar una neurona responsable de una propiedad concreta. La intervención puede hacerse a nivel de subespacio. Si se encuentra la descomposición, el cálculo puede desactivarse o modificarse de forma puntual, incluso cuando ninguna neurona individual está especializada. Para la seguridad y el control del comportamiento de los modelos, este es un punto de intervención más realista que la búsqueda de «neuronas de conceptos».

Hay que tener en cuenta las limitaciones. Es un preprint sin revisión por pares, y el resumen no incluye ni los nombres de los modelos probados ni resultados cuantitativos, por lo que no es posible evaluar la magnitud del efecto. Tampoco se sabe hasta qué punto los subespacios encontrados son estables en los grandes LLM actuales ni cuánto dependen de las funciones que los investigadores definieron de antemano. El método requiere etiquetar los cálculos, por ejemplo contenido frente a estilo, y no descubre los módulos por sí mismo.

Para los profesionales, la conclusión es esta: al analizar un modelo conviene comprobar los tres niveles y no detenerse en la ausencia de modularidad neuronal. Los detalles de implementación están en el texto completo del propio preprint.