Habr AI: por qué las alucinaciones de los LLM se parecen más a un fallo humano que a un error matemático

Habr AI ha publicado una columna que defiende que las alucinaciones de los modelos deben verse no solo como un defecto de ingeniería, sino también como reflejo de fallos de pensamiento humanos bien conocidos. El autor aborda el problema como un clínico: en lugar de indignarse, propone analizar dónde exactamente pierde el sistema el marco de la tarea y por qué da con seguridad una respuesta errónea.

Por qué esto irrita a todos

La reacción ante las alucinaciones de los LLM suele ser muy dura: el usuario espera que el modelo se ciña al contexto, pero recibe una formulación segura y equivocada. Durante mucho tiempo, los desarrolladores se escudaron en explicaciones clásicas como GIGO y RTFM, y después empezaron a reforzar los productos con RAG y restricciones adicionales. Pero la queja de fondo no desapareció: se espera de la máquina el comportamiento de un interlocutor «sano», que no pierde el hilo de la conversación ni se inventa los hechos sobre la marcha.

La columna invierte esa lógica. El autor escribe que los primeros fallos de las redes neuronales no le sorprendieron, porque tratar con alteraciones del pensamiento es parte habitual de la práctica clínica. De ahí la tesis central: la irritación no surge solo del error en sí, sino de la expectativa exagerada de que la IA piense con más limpieza y disciplina que una persona.

• El usuario espera que se siga la instrucción al pie de la letra
• El ingeniero recuerda la calidad de los datos de entrada
• Los equipos de producto añaden RAG, filtros y comprobaciones
• Pero el propio modelo sigue heredando patrones de fallo conocidos

Un bug de la red neuronal proteica

El fragmento más potente del texto es un ejemplo cotidiano en el que ya no se equivoca el modelo, sino una persona. El autor plantea un enunciado simple: «Según el pasaporte soy Olga. En casa me llaman Alena. Elige una de las dos». Formalmente solo hay dos opciones, pero la «red neuronal proteica» responde a menudo: «Eres Lena». Así es, según el autor, un fallo del prompt engineering humano en una tarea elemental.

Lo que ilustra el ejemplo es que al cerebro no le gusta mantener mucho tiempo restricciones contradictorias. En lugar de elegir con rigor dentro del conjunto dado, se va rápido a las asociaciones (Alena, Elena, Lena) y sustituye la respuesta por la estadísticamente habitual. El error no nace de mala intención ni de una incomprensión total del lenguaje, sino de la tendencia a tomar un atajo hacia una conclusión «verosímil». Por eso, el reproche de que «la red neuronal ignora el contexto» vuelve en cierto sentido también hacia la persona.

Qué se rompe en la cabeza

El autor describe este fallo como una constraint violation: una violación de los parámetros de la tarea. Desde la psicología, el cerebro descarta el prompt original, saca la opción asociativa más cómoda y la entrega con total seguridad. En términos de sesgos cognitivos, recuerda al jumping to conclusions: saltar a una conclusión sin comprobar lo bastante las condiciones. Para un lector del sector de la IA, suena casi a un bug conocido de los LLM: la restricción existía, pero el sistema no la mantuvo hasta el final de la generación.

«La IA no está rota.

Quizá hemos recreado nuestro propio bug».

La conclusión práctica del autor es sorprendentemente terrenal. Parte de estos fallos se corrige no solo con nuevos trucos de arquitectura, sino también con una buena disciplina de interacción. Si la tarea no está clara, es mejor no adivinar y volver a preguntar. Esta lógica vale para personas y para modelos: cuanto mejor se fijan los límites, menos probable es que la respuesta derive en una improvisación segura de sí misma. Y por eso el debate sobre las alucinaciones no puede reducirse a la pregunta de si «hay datos suficientes en el sistema».

Qué significa

La columna resulta útil porque quita dramatismo innecesario al asunto. Las alucinaciones de los LLM siguen siendo un problema serio de producto, pero la mirada clínica muestra que parte de su naturaleza puede estar más cerca de los atajos cognitivos humanos que de una misteriosa «locura de la máquina». Para los desarrolladores, es un argumento no solo para mejorar los modelos y el retrieval, sino también para diseñar interfaces en las que al sistema le resulte más fácil aclarar una consulta que equivocarse con elegancia. Para los usuarios, es un recordatorio de que un tono seguro todavía no equivale a comprensión.