Un investigador de Goodfire afirma que las redes neuronales son mucho más simples de lo que creían los expertos en interpretabilidad

La noticia principal de hoy no es otro modelo, sino un debate sobre

cuán comprensibles son realmente las redes neuronales por dentro

Nick Cammarata, que trabaja en Goodfire (una empresa especializada en interpretabilidad —descifrar lo que ocurre dentro de las redes neuronales—), publicó un ensayo cuyo título de trabajo es "las redes neuronales ya son limpias". Su tesis: en modelos con billones de parámetros, la inmensa mayoría de las neuronas son en realidad legibles y comprensibles, siempre que se analicen correctamente.

De dónde surgió el problema de las neuronas "enredadas"

Durante años, uno de los principales argumentos a favor de tratar a las redes neuronales como cajas negras fue este: una sola neurona a menudo codifica no un concepto, sino varios no relacionados a la vez —a esto se le llama polisemanticidad. Y cuando varios conceptos se comprimen en el mismo espacio de pesos de forma más apretada de lo que permiten las dimensiones disponibles, se obtiene "superposición": un ovillo denso e ilegible. Precisamente a este problema se refirieron tanto Anthropic en sus trabajos del año pasado sobre la escalabilidad de los métodos de interpretabilidad, como la propia Goodfire en su artículo de febrero.

Cammarata aporta su experiencia personal: en 2023 participó en un proyecto de OpenAI sobre interpretación automática de neuronas, y en aquel momento solo alrededor del 2% de las neuronas se consideraron legibles para un humano. Parecía una prueba de que las redes son opacas. Pero ahora, según Cammarata, muchos de los ejemplos clásicos y "de manual" de neuronas polisemánticas, citados durante años como prueba de un enredo irresoluble, fueron en realidad mal interpretados desde el inicio. Con un análisis más minucioso —usando agentes de IA que sistemáticamente plantean y verifican hipótesis sobre la función de cada neurona— resulta que la mayor parte de la red está, de hecho, limpia y encaja en conceptos comprensibles para los humanos.

Por qué esto importa para la seguridad de la IA

Si la tesis es correcta, golpea directamente el "campo de preocupación" (P(doom), la probabilidad de un desenlace catastrófico derivado de la IA) de la comunidad de seguridad: cuanto más comprensible sea la estructura interna de un modelo, más fácil será verificar lo que realmente "piensa" y "planea", y menos motivos habrá para temer objetivos ocultos e ilegibles. Precisamente por eso la publicación generó tanta reacción: el usuario tszzl y otras voces destacadas en los círculos de investigación en Twitter/X calificaron la publicación como un momento importante para todo el campo.

Lo que dicen los críticos

No todos están de acuerdo. Neel Nanda, de DeepMind, uno de los principales especialistas en interpretabilidad, dijo sin rodeos que el ensayo de Cammarata no modifica sus supuestos fundamentales (los "crux", los puntos clave sobre los que construye su modelo del mundo): sigue esperando que las representaciones en las redes vivan en superposición, y considera que las activaciones débiles y no principales de las neuronas también transmiten significado —por ejemplo, almacenando hechos memorizados que no son visibles con un análisis superficial.

Leo Gao formuló una objeción metodológica: las explicaciones sobre lo que hace una neurona no deben comprobarse a simple vista, sino de manera rigurosa —"simulando" la neurona y midiendo la divergencia (divergencia KL) entre el comportamiento predicho y el real. Jacob Mendel señaló otra debilidad: el análisis a menudo solo observa las activaciones más fuertes de la neurona e ignora la "cola" —activaciones más débiles pero igualmente significativas. Y Will Pfau, de Anthropic, recordó un detalle prosaico pero importante: por ahora esto es un ensayo, no un artículo revisado por pares con pruebas completas; todavía no se ha publicado.

Qué significa esto en la práctica

Para los ingenieros e investigadores que trabajan en seguridad e interpretabilidad de modelos, la conclusión por ahora es provisional: ha surgido un argumento sólido a favor de que los métodos de análisis agéntico (donde no es un humano quien desglosa una neurona manualmente, sino un conjunto de agentes de IA que prueba decenas de hipótesis de forma automática) podrían elevar drásticamente la proporción de componentes "legibles" de la red, en comparación con los viejos métodos manuales de 2023, donde la cifra rondaba el 2%. Pero todavía no existe una confirmación cuantitativa rigurosa —un artículo completo con métricas como la divergencia KL que propone medir Gao. Por eso, la postura razonable por ahora es tratar la tesis de Cammarata como una hipótesis prometedora pero no demostrada, y esperar una publicación con una metodología reproducible antes de cambiar las evaluaciones de riesgo o los enfoques de auditoría de modelos.