Anthropic descubre que Claude piensa con conceptos abstractos sin palabras

Anthropic ha descubierto que su modelo de lenguaje Claude formó por sí solo un espacio interno «sistémico» para almacenar y procesar conceptos que no se expresan con palabras. Se trata de un mecanismo que recuerda, de forma inesperada, a cómo el cerebro humano maneja los pensamientos antes de verbalizarlos. Así lo ha comunicado la propia compañía, que reconoce que el hallazgo sorprendió incluso a sus investigadores.

Qué han encontrado exactamente los investigadores

Los especialistas de Anthropic estudiaron las representaciones internas del modelo: cómo Claude almacena y relaciona conceptos dentro de sus capas mucho antes de generar el texto final. Comprobaron que el modelo procesa parte de los conceptos de forma abstracta, sin traducirlos a palabras concretas de un idioma, y solo más tarde los convierte en texto en la salida.

• Anthropic describe el mecanismo hallado como un «espacio sistémico» para conceptos que no están formulados en palabras
• La compañía subraya su parecido con la forma en que el pensamiento humano maneja las ideas antes de expresarlas
• El hallazgo se enmarca en la investigación sobre interpretabilidad, que busca entender qué ocurre dentro del modelo y no solo qué produce en la salida

Por qué las empresas miran dentro de los modelos

Durante mucho tiempo, los grandes modelos de lenguaje funcionaron como una «caja negra»: los desarrolladores veían la entrada y la salida, pero no lo que ocurría entre ambas. Anthropic es uno de los referentes en interpretabilidad (interpretability), un área que intenta identificar dentro de las redes neuronales conceptos concretos y las cadenas que los procesan. La compañía lleva varios años publicando investigaciones sobre cómo los modelos forman representaciones internas de conceptos y, de vez en cuando, da a conocer patrones de comportamiento nuevos que sorprenden a sus propios investigadores.

Este tipo de hallazgos no solo tiene interés científico. Entender cómo procesa el modelo la información antes de generar una respuesta ayuda a explicar mejor sus decisiones, a encontrar el origen de errores y alucinaciones y a aumentar la confianza en unos sistemas cada vez más presentes en las empresas y en las tareas cotidianas.

Qué significa

Si los modelos forman realmente estructuras propias para almacenar significado, no siempre traducibles a palabras, cambia la idea de hasta qué punto es profundo el «pensamiento» de los modelos de lenguaje actuales. Al mismo tiempo, se complica el objetivo de lograr su plena interpretabilidad y control.