¿Realmente razonan las redes neuronales? Un estudio sobre los errores estructurales en la lógica de los LLM

¿Realmente razonan las redes neuronales? Un estudio sobre los errores estructurales en la lógica de los LLM

Cuando GPT-4 resuelve un problema de matemáticas o Claude analiza un documento jurídico complejo, un observador externo se plantea de forma natural una pregunta: ¿es pensamiento genuino o una ilusión muy bien hecha? Un nuevo estudio sistemático de las capacidades cognitivas de los grandes modelos de lenguaje da una respuesta incómoda: probablemente lo segundo. Los científicos han documentado lo que llaman «fallos estructurales»: errores lógicos predecibles y reproducibles que revelan una diferencia fundamental entre imitar el razonamiento y razonar de verdad.

En los últimos dos años, los modelos de lenguaje han logrado resultados impresionantes en pruebas de referencia académicas, lo que ha alimentado un optimismo generalizado sobre sus capacidades intelectuales. Las empresas han empezado a incorporar los LLM en medicina, derecho y análisis financiero, ámbitos donde el coste de un error se mide no solo en reputación, sino también en vidas humanas. Esa brecha entre las afirmaciones públicas sobre sistemas «inteligentes» y sus capacidades reales llevó a los investigadores a realizar un estudio metódico y sistemático de cómo resuelven los modelos las tareas que requieren inferencia lógica secuencial.

La clave del hallazgo es la siguiente: los LLM no construyen cadenas de razonamiento, sino que buscan continuaciones de texto estadísticamente plausibles. La diferencia parece sutil, pero en la práctica es crítica. Cuando el modelo se topa con una tarea parecida a las de sus datos de entrenamiento, ofrece una respuesta convincente. Pero basta con cambiar un poco las condiciones, ya sea reformulando la pregunta, añadiendo un paso intermedio o exigiendo razonar en sentido inverso, para que el sistema empiece a fallar de forma sistemática, no aleatoria. Los investigadores llamaron «estructurales» a estos fallos porque no surgen de la falta de datos, sino de limitaciones arquitectónicas del propio enfoque.

Los experimentos con tareas de varios pasos resultan especialmente reveladores. Los modelos muestran algo parecido a una «degradación de la profundidad»: cuanto más larga es la cadena de razonamiento necesaria, mayor es la probabilidad de error en alguno de los eslabones intermedios. Además, el modelo rara vez es consciente de su propio fallo: sigue generando un texto seguro y gramaticalmente impecable que parece una respuesta correcta, pero contiene contradicciones lógicas. Esa excesiva confianza hace que los errores estructurales sean especialmente peligrosos: el usuario no recibe ninguna señal de que algo ha salido mal.

El estudio también cuestiona la interpretación popular de los buenos resultados de los modelos en las pruebas. Las puntuaciones altas en los benchmarks estándar pueden explicarse no por una mejora de la capacidad lógica, sino por una «calibración» cada vez más precisa con respecto a los patrones presentes en los conjuntos de prueba. En otras palabras, el modelo aprende a responder bien a cierto tipo de preguntas sin adquirir una comprensión transferible. Es la diferencia fundamental entre memorizar y comprender, y explica por qué los LLM pueden resolver problemas de nivel de doctorado y, al mismo tiempo, tropezar con acertijos elementales formulados de forma poco habitual.

Para la industria, estas conclusiones tienen consecuencias prácticas concretas. Incorporar modelos de lenguaje a infraestructuras críticas, como el diagnóstico médico, el análisis jurídico o la gestión de riesgos, exige replantearse el enfoque. Las empresas que construyen productos sobre la suposición de que los LLM son capaces de una inferencia lógica fiable asumen riesgos difíciles de medir de antemano. Los investigadores no piden renunciar a estas tecnologías, pero insisten en estándares de verificación más estrictos: cada uso debe ir acompañado de límites claros sobre dónde el modelo funciona de forma predecible y dónde no.

La cuestión de fondo que plantea este estudio va más allá de lo técnico: ¿qué estamos creando realmente? Si los modelos de lenguaje son sistemas muy precisos de predicción del siguiente token y no sistemas de comprensión, todo el relato sobre la «inteligencia artificial» necesita reformularse. Una imitación de calidad del razonamiento puede ser una herramienta útil, pero no es lo mismo que razonar. Entender esa frontera no es pesimismo, sino una condición necesaria para construir algo realmente fiable sobre los LLM.