Por qué los LLM mienten y olvidan datos: cómo funciona la memoria de los modelos de lenguaje

Los modelos de lenguaje suenan cada vez más como expertos seguros de sí mismos, y fallan cada vez más en los detalles. ¿Por qué ocurre, en qué parte de la arquitectura de los LLM está la raíz del problema y se puede corregir?

La mayoría de los usuarios ve un modelo de lenguaje como una base de conocimiento con un buscador dentro: haces una pregunta y recibes una respuesta guardada. En realidad funciona de otra manera. Un modelo de lenguaje es una máquina estadística que predice el siguiente token. No memoriza hechos en el sentido habitual: el conocimiento está codificado en los pesos de la red neuronal, comprimido y mezclado con miles de millones de otros datos. Cuando el modelo responde, no recupera un registro concreto de una tabla. Genera el texto más verosímil según las estadísticas con las que se entrenó.

De esta diferencia fundamental se derivan cuatro causas principales de error.

La primera es la compresión de la información durante el entrenamiento. Imagina que lees miles de artículos y un año después los resumes de memoria. Las cifras exactas y los nombres se desdibujan, y queda la idea general. El modelo hace algo parecido, pero a escala de cientos de miles de millones de parámetros. Un dato concreto, como una fecha exacta o el nombre de un personaje secundario, puede no codificarse con suficiente nitidez, y al generar, el modelo sustituirá el valor por otro estadísticamente cercano, pero incorrecto. No es un engaño: es el límite de resolución de la memoria.

La segunda causa es la ventana de contexto limitada. Todo lo que el modelo ve al responder es la conversación actual más lo que quepa en ella. Los modelos actuales tienen ventanas de entre 8 y 200 mil tokens. Suena a mucho, pero con diálogos largos, documentos voluminosos o tareas con historial, la ventana se llena rápido. Cuando la información antigua queda fuera de sus límites, el modelo simplemente no la ve. No olvida en el sentido humano: nunca supo nada que no esté ahora mismo en la ventana.

La tercera causa es la ausencia de memoria externa por defecto. Un LLM clásico, sin herramientas adicionales, no puede consultar una base de datos, un buscador ni las conversaciones previas contigo. Cada chat nuevo es una hoja en blanco. Por eso un modelo al que le contaste algo importante hace una semana no lo recordará hoy. Los sistemas con RAG (retrieval-augmented generation) resuelven el problema en parte: antes de generar la respuesta, recuperan documentos relevantes de un almacén externo y los pasan al contexto. Pero es un añadido arquitectónico, no una propiedad básica del modelo de lenguaje.

La cuarta causa son los errores y contradicciones en los datos de entrenamiento. Internet está lleno de imprecisiones, datos obsoletos y fuentes que se contradicen. El modelo se entrena con ese conjunto y asimila no solo conocimiento, sino también ideas erróneas. Cuando el dato correcto aparece menos que el incorrecto, el modelo probablemente reproducirá el error extendido. Son especialmente vulnerables las fechas históricas, los nombres de organizaciones y los términos muy especializados, porque ahí los datos de entrenamiento contienen más imprecisiones.

¿Qué implica esto para el usuario? Primero, un modelo de lenguaje no puede usarse como fuente definitiva de afirmaciones factuales, sobre todo en fechas, nombres, cifras y datos legales o médicos. Segundo, cuanto más preciso y detallado sea tu pedido y su contexto, menos margen tiene el modelo para inventar. Tercero, los productos basados en LLM donde importa la alta precisión deben usar RAG o herramientas con acceso a datos actualizados; sin ello, el riesgo de errores sistemáticos sigue siendo estructural.

Entender estos mecanismos no hace que los LLM sean menos útiles: te convierte en un usuario más informado. El modelo no miente a propósito. Simplemente genera lo que es estadísticamente verosímil a partir de los pesos con los que fue entrenado. Y lo verosímil no es lo mismo que lo veraz.