El fundador del área de interpretabilidad de OpenAI afirma que el 90% de las neuronas cumple una sola función

Nick Cammarata, fundador del equipo de interpretabilidad de OpenAI, publicó el viernes un ensayo larguísimo con una tesis que da la vuelta a la imagen habitual: alrededor del 90% de las neuronas de los grandes modelos desempeña una sola función, y un modelo de un billón de parámetros se vuelve «casi legible» con las herramientas agénticas actuales. El medio chino Jiqizhixin calificó el texto como uno de los resultados más importantes del campo de la IA. En la comunidad profesional ya ha provocado intensos debates.

Qué afirma exactamente Cammarata

Según él, la idea de la red neuronal como una «caja negra» impenetrable ha resultado ser, en gran parte, un error. La mayoría de los obstáculos que los investigadores esperaban no aparecen en la práctica. De ahí su conclusión: la interpretabilidad se resolverá, y quizá rápido.

Conviene señalar de entrada una limitación. En el fragmento disponible no hay descripción de la metodología, de los conjuntos de modelos ni de los criterios con los que se considera que una neurona «cumple una sola función». La cifra del 90% procede del titular del material. Sin el texto completo del ensayo ni experimentos reproducibles, no se puede verificar.

Por qué la tesis suena audaz

Durante los últimos años, los investigadores partían de la premisa contraria. Las neuronas de los grandes modelos suelen ser polisemánticas: una misma neurona responde a varios conceptos sin relación entre sí. Esta imagen se vincula con la hipótesis de la superposición, según la cual la red empaqueta más rasgos de los que tiene neuronas. Para desenredar ese empaquetado, los laboratorios adoptaron los autoencoders dispersos y métodos afines. Es un rodeo costoso, y solo tiene sentido si hay pocas neuronas «limpias».

El propio Cammarata participó en el trabajo de OpenAI de 2023 en el que GPT-4 redactaba explicaciones en texto de las neuronas de GPT-2. Entonces la mayoría de las explicaciones recibió puntuaciones bajas y el método parecía haber tocado techo. Ahora sostiene que la limitación principal no era el objeto de estudio en sí, sino las herramientas.

Según la lógica del ensayo, los agentes cambian la economía del problema. Un solo investigador no puede analizar a mano miles de millones de neuronas. Un agente, en cambio, puede formular una hipótesis para cada una, diseñar un experimento, contrastarla con ejemplos nuevos y reescribir la descripción. En un modelo de un billón de parámetros, esto convierte un trabajo manual inalcanzable en un problema de cómputo.

Tesis clave

• Autor: Nick Cammarata, fundador del equipo de interpretabilidad de OpenAI.
• Formato: ensayo larguísimo publicado el viernes.
• Cifra principal: alrededor del 90% de las neuronas cumple una sola función.
• Escala: modelos de hasta un billón de parámetros.
• Herramienta: sistemas agénticos modernos en lugar del análisis manual.
• Pronóstico: la interpretabilidad se resolverá, «quizá pronto». El fragmento disponible no incluye plazos concretos.
• Estatus: postura del autor, no un artículo revisado por pares.

Cómo deben leerlo ingenieros y equipos de seguridad

Aquí el escepticismo es la norma profesional, no desconfianza hacia el autor. Primero hay que aclarar cómo se define «una función»: por el comportamiento en ejemplos o por intervenciones causales, es decir, apagando la neurona para ver qué se rompe. La segunda comprobación es mucho más estricta. Después importa si el resultado se reproduce en modelos abiertos, donde grupos independientes pueden ejecutar los mismos pipelines agénticos. Y, por último, que el 90% de las neuronas sean monofuncionales no significa que el 90% del comportamiento del modelo esté explicado. El diez por ciento restante puede albergar las capacidades más peligrosas y más complejas.

Si la tesis supera la verificación, las consecuencias serán prácticas. La auditoría de modelos para detectar engaño, objetivos ocultos y vulnerabilidades dejará de ser un experimento de investigación. Pasará a ser un procedimiento de ingeniería que se podrá exigir al proveedor del modelo. Los equipos que construyen productos sobre LLM harán bien en seguir las replicaciones abiertas y en vigilar si las herramientas agénticas incorporan pipelines de interpretabilidad ya listos. Por ahora, el ensayo conviene leerlo como una hipótesis sólida de alguien que lleva en este tema más tiempo que la mayoría.