Ventana de Contexto de LLM: Por Qué las Redes Neurales Olvidan Partes de Tu Conversación

Los LLM no funcionan como un humano con memoria — sino como un experto que relee toda la correspondencia de cero cada vez y solo luego formula una respuesta. Esta es precisamente la característica arquitectónica clave de las redes neuronales modernas que a menudo confunde a los nuevos usuarios.

Por qué el modelo "olvida"

Cuando envías un nuevo mensaje a un chat con IA, el modelo no "recuerda" la respuesta anterior en el sentido convencional. No tiene memoria operativa como una computadora, ni memoria a largo plazo como un humano. Cada vez que escribes algo nuevo, el modelo recibe toda la conversación como entrada — desde el primer mensaje hasta el último — y la reprocesa de nuevo para formular una respuesta. Esta "caja" limitada que contiene toda la conversación se llama ventana de contexto. Su tamaño se mide en tokens — unidades de texto que corresponden aproximadamente a 0,75 palabras cada una. Cuanto más larga es la conversación, más tokens ocupa — y más se acerca al límite.

Qué sucede en el límite

La ventana de contexto no es infinita, y cada modelo tiene su propio techo. Así se ven los límites para soluciones populares:

• GPT-4o — 128.000 tokens (aproximadamente 96.000 palabras)
• Claude 3.5 Sonnet — 200.000 tokens (aproximadamente 150.000 palabras)
• Gemini 1.5 Pro — hasta 1.000.000 de tokens
• Modelos antiguos (GPT-3) — solo 4.000 tokens

Cuando la conversación alcanza el límite, las partes antiguas literalmente "se desmoronan": el modelo deja de verlas. Si al comienzo de una sesión larga escribiste "mi nombre es Andrei" o proporcionaste el contexto clave de la tarea, y luego continuaste la conversación durante varias horas más — al final, la IA probablemente "no recuerde" estos detalles. Esto no es un glitch ni falta de atención. Es matemática: la información simplemente salió fuera de la ventana.

Cómo los desarrolladores luchan contra esto

Para ocultar esta limitación a los usuarios o al menos mitigarla, los desarrolladores añaden varias capas de lógica encima de los LLM base. Para el usuario promedio, son invisibles — pero son lo que hace que trabajar con IA sea más cómodo.

Sumarización. El sistema comprime automáticamente las partes antiguas de la conversación, preserva hechos clave de forma compacta y libera tokens para nuevos mensajes. Los usuarios típicamente no lo notan.

Memoria vectorial. Los hechos importantes de la conversación se almacenan en una base de datos separada y se recuperan según sea necesario. Así es como funcionan los sistemas RAG (Retrieval-Augmented Generation): extraen el contexto necesario en el momento adecuado, sin llenar constantemente la ventana.

Prompt del sistema. Parte de la ventana de contexto se reserva de antemano — para instrucciones permanentes, perfil de usuario y hechos de la tarea. Esta parte no es desplazada por el historial de diálogo.

Caché. Algunos proveedores almacenan en caché parte del contexto en el lado del servidor, para que los mismos datos no necesiten transmitirse en cada solicitud. Esto reduce los costos computacionales y acelera ligeramente la respuesta.

"La ventana de contexto no es un bug, es una decisión arquitectónica

clave de los transformers," explican los ingenieros de ML, añadiendo: la complejidad cuadrática de las operaciones de atención significa que duplicar la ventana cuadruplica los costos computacionales.

Qué significa esto

Entender la ventana de contexto explica muchas "rarezas" en el comportamiento de la IA: por qué el modelo olvida detalles hacia el final de una conversación larga, por qué solo ve un fragmento de un documento grande, por qué los agentes necesitan un sistema de memoria separado. Esta es una limitación arquitectónica fundamental — y la industria está aprendiendo activamente a trabajar con ella: ampliando ventanas, añadiendo memoria externa, explorando nuevas arquitecturas como Mamba. Por ahora, la ventana de contexto sigue siendo uno de los principales compromisos en el mundo de los LLMs.