Centaur sabía las respuestas, pero no comprendía las preguntas: investigación refuta el 'pensamiento' de la IA

Centaur Conocía las Respuestas, Pero No Entendía las Preguntas: Investigación Refuta el 'Pensamiento' de la IA

Centaur afirmó un avance: una IA supuestamente aprendió a imitar el pensamiento humano en 160 tareas cognitivas simultáneamente — desde la memoria hasta la toma de decisiones. Una nueva investigación refuta esta afirmación: el modelo no estaba pensando, estaba memorizando patrones.

El Antiguo Debate, un Nuevo Protagonista

La pregunta sobre la naturaleza del pensamiento humano es una de las más antiguas de la psicología. ¿Es el pensamiento un sistema unificado con un "motor" común, o es un conjunto de módulos especializados, cada uno responsable de su propio dominio: memoria, atención, lenguaje, navegación espacial, toma de decisiones? Esto no es un juego de palabras académico.

La respuesta determina cómo diseñar pruebas para habilidades cognitivas, cómo tratar trastornos como demencia o dislexia, y cómo diseñar sistemas de IA que pretenden tener "comprensión". Después de décadas de debate, no ha surgido un consenso único. Centaur apareció como una posible respuesta desde una dirección inesperada.

La idea: entrenar una IA con datos sobre el comportamiento humano en pruebas cognitivas y luego observar — si el modelo reproduce el mismo comportamiento, ha "capturado" la estructura del pensamiento. Los autores afirmaron que Centaur realizaba 160 tareas cognitivas diferentes con una precisión comparable a la humana. La escala de la afirmación era rara: ningún modelo anterior había pretendido tal cobertura cognitiva.

Dónde se Rompe el Argumento

Investigadores que verificaron independientemente el trabajo de Centaur descubrieron un problema fundamental: los altos resultados se explican no por "comprensión", sino por memorización. Vulnerabilidades metodológicas específicas:

• Solapamiento de datos: la muestra de entrenamiento se solapa con el conjunto de prueba — el modelo efectivamente "vio" las respuestas correctas antes de la evaluación
• Sin transferencia: en tareas desconocidas con la misma estructura, el modelo no mostró resultados consistentes
• Patrón sin mecanismo: una alta correspondencia con las respuestas humanas no significa reproducir procesos cognitivos — solo su forma externa
• Verificación débil: los autores no realizaron pruebas en tareas especialmente modificadas donde las respuestas memorizadas no funcionarían

Según los críticos, este es un caso clásico: el modelo sabía qué responder sin entender la pregunta.

Por Qué Esto Importa

La afirmación de Centaur no era solo científica — era instrumental. Si la IA realmente modelara procesos cognitivos, abriría un nuevo método para estudiar la mente: en lugar de costosos experimentos neuropsicológicos, las teorías podrían probarse directamente en modelos de IA. Esto aceleraría radicalmente la ciencia cognitiva. Pero el límite entre "memorización" y "pensamiento" en la evaluación de IA sigue sin cruzarse. Los modelos de lenguaje regularmente muestran puntuaciones altas en benchmarks — y al examinarlos detalladamente, resulta que detrás de esto hay reproducción de patrones de datos de entrenamiento, no generalización.

"El modelo sabía qué responder — pero no sabía por qué," — así es aproximadamente como los críticos formulan la esencia de la objeción a

Centaur.

La historia aquí no es nueva. Cada vez que una IA obtiene una puntuación alta en "comprensión", le sigue una revisión detallada — y resulta que la prueba estaba midiendo otra cosa. Centaur encaja en este patrón.

Lo Que Esto Significa

Un benchmark convincente y la comprensión real son cosas diferentes. Hasta que surjan estándares que separen fundamentalmente la memorización de patrones de la generalización cognitiva, las afirmaciones sobre "IA que piensa como humanos" seguirán siendo cuestionables. Para la ciencia cognitiva, el siguiente paso es obvio: desarrollar pruebas que por definición no puedan superarse mediante memorización.