Centaur conocía las respuestas, pero no entendía las preguntas: un estudio refuta el "pensamiento" de la IA

El modelo Centaur anunció un avance: la IA habría aprendido a imitar el pensamiento humano en 160 tareas cognitivas a la vez, desde la memoria hasta la toma de decisiones. Un nuevo estudio rechaza esa afirmación: el modelo no pensaba, memorizaba patrones.

Una vieja disputa, un nuevo actor

La naturaleza de la mente humana es una de las preguntas más antiguas de la psicología. ¿Es el pensamiento un sistema único con un "motor" común o un conjunto de módulos especializados, cada uno responsable de lo suyo: memoria, atención, lenguaje, navegación espacial, toma de decisiones? No es un juego de palabras académico. De la respuesta depende cómo se diseñan las pruebas de capacidad cognitiva, cómo se tratan trastornos como la demencia o la dislexia y cómo se conciben los sistemas de IA que dicen "comprender".

Tras décadas de debate, no ha surgido un consenso.

Centaur apareció como una posible respuesta desde un lado inesperado. La idea: entrenar una IA con datos del comportamiento humano en pruebas cognitivas y comprobar después si el modelo reproduce ese mismo comportamiento. Si lo hace, habría "captado" la estructura del pensamiento. Los autores afirmaron que Centaur resuelve 160 tareas cognitivas distintas con una precisión comparable a la humana. La magnitud de la afirmación era poco habitual: ningún modelo anterior había reclamado una cobertura cognitiva así.

Dónde falla el argumento

Investigadores que revisaron de forma independiente el trabajo de Centaur encontraron un problema de fondo: sus buenos resultados se explican por la memorización, no por la "comprensión". Las vulnerabilidades concretas de la metodología:

• Solapamiento de datos: la muestra de entrenamiento se solapa con la de prueba, de modo que el modelo prácticamente "vio" las respuestas correctas antes del examen
• Sin transferencia: en tareas desconocidas con la misma estructura, el modelo no mostró resultados estables
• Patrón sin mecanismo: una alta coincidencia con las respuestas humanas no implica que se reproduzcan los procesos cognitivos, sino solo su forma externa
• Verificación débil: los autores no hicieron pruebas con tareas modificadas a propósito, en las que las respuestas memorizadas no servirían

Según los críticos, es un caso clásico: el modelo sabía qué responder sin entender la pregunta.

Por qué importa

La afirmación de Centaur no era solo científica, sino también instrumental. Si la IA realmente modela procesos cognitivos, se abre un nuevo método para estudiar la mente: en lugar de costosos experimentos neuropsicológicos, las teorías podrían contrastarse directamente en un modelo de IA. Eso aceleraría radicalmente la ciencia cognitiva.

Pero la frontera entre "memorización" y "pensamiento" en la evaluación de la IA sigue sin trazarse. Los modelos de lenguaje obtienen con frecuencia buenos resultados en benchmarks y, al analizarlos en detalle, resulta que detrás hay reproducción de patrones de los datos de entrenamiento, no generalización.

"El modelo sabía qué responder, pero no sabía por qué debía ser así": más o menos así resumen los críticos su objeción a

Centaur.

La historia no es nueva. Cada vez que una IA obtiene una puntuación alta en "comprensión", llega una revisión detallada y se descubre que la prueba medía otra cosa. Centaur encaja en ese patrón.

Qué significa

Un benchmark convincente y una comprensión real son cosas distintas. Hasta que existan estándares que separen de forma rigurosa la memorización de patrones y la generalización cognitiva, las afirmaciones sobre una "IA que piensa como un humano" seguirán en entredicho. Para la ciencia cognitiva, el siguiente paso es obvio: diseñar pruebas que, por definición, no se puedan superar a base de memorizar.