Por qué ChatGPT Olvida: Explicación de la Ventana de Contexto en Modelos de Lenguaje

Después de una hora trabajando con ChatGPT, el modelo repentinamente olvida los detalles de los primeros mensajes — se contradice a sí mismo, vuelve a preguntar sobre lo que ya fue acordado. Esto no es un error: así es como funciona la ventana de contexto, y entender este mecanismo es importante para cualquiera que use IA en su trabajo.

Qué es una ventana de contexto

Un modelo de lenguaje no "recuerda" una conversación en el sentido humano. Procesa el texto como un bloque único — el llamado contexto. Una ventana de contexto es el volumen máximo de texto que un modelo puede considerar en una única solicitud. La unidad de medida es un token: aproximadamente 3–4 caracteres en inglés o 1–2 palabras en ruso.

Los modelos modernos funcionan con ventanas de diferentes capacidades:

• GPT-4o — hasta 128.000 tokens (alrededor de 96.000 palabras)
• Claude 3.7 Sonnet — hasta 200.000 tokens
• Gemini 1.5 Pro — hasta 2.000.000 tokens
• Llama 3 — de 8.000 a 128.000 tokens según la versión

Incluso 128.000 tokens equivalen a aproximadamente 300 páginas de texto. Suena como mucho, pero en sesiones de trabajo reales — con una base de código, documentos y diálogos extensos — este límite se alcanza más rápido de lo que parece.

Por qué el modelo "olvida"

Cuando una conversación excede la ventana de contexto, el modelo no "olvida" — simplemente no ve los mensajes antiguos. Están técnicamente ausentes de los datos de entrada de la solicitud.

La mayoría de los servicios resuelven este problema de una de dos maneras.

Truncamiento: los mensajes más antiguos se eliminan del contexto. El modelo continúa respondiendo, pero sin acceso al comienzo de la conversación. Así es como funcionan la mayoría de las interfaces de chat por defecto.

Resumización: en lugar de los primeros N mensajes, se introduce en el contexto su breve resumen generado por el propio modelo. Se pierden detalles, pero se preserva el hilo general.

También existe un tercer enfoque — RAG (Retrieval-Augmented Generation): la información importante se almacena en una base de datos externa y se carga en el contexto solo cuando es necesario. Así es como funcionan los sistemas de IA más complejos y las soluciones empresariales.

Pérdida en el medio: un problema oculto

El problema no es solo sobre el desbordamiento del contexto. La calidad de las respuestas se degrada incluso antes de que el contexto se agote. Investigadores de Stanford y Berkeley en 2023 describieron el fenómeno de "pérdida en el medio" (lost in the middle): los modelos utilizan significativamente mejor la información del principio y del final del contexto. Los datos que caen en el medio se procesan peor — el modelo parece "no notarlos".

"Los modelos de lenguaje tienden a utilizar peor la información relevante cuando se encuentra en el medio de un contexto largo," — de la investigación

Lost in the Middle, 2023.

Conclusión práctica: las instrucciones clave se proporcionan mejor al principio o al final de la solicitud, en lugar de enterrarlas en el medio de un documento largo.

Cómo trabajar con esta limitación

Varias estrategias prácticas:

• Divida las tareas — en lugar de una sesión gigante, divida el trabajo en sesiones con resúmenes intermedios claros
• Coloque información importante al principio — el prompt del sistema y las restricciones clave funcionan mejor al principio del contexto
• Use modelos con ventanas más grandes — para documentos grandes, elija Gemini 1.5 Pro (2M tokens) o Claude con 200K
• Resuma usted mismo — antes de una nueva sesión, pida al modelo que resuma la anterior y guarde ese texto
• Estime la longitud con anticipación — 1 página de texto ≈ 500 tokens, 1 archivo de código ≈ 1.000–5.000 tokens

Lo que esto significa

Una ventana de contexto no es un detalle técnico, sino un parámetro central de cualquier trabajo con modelos de lenguaje. Entender esta limitación le permite no culpar al comportamiento "extraño" del modelo a un error, sino organizar adecuadamente sus sesiones de trabajo. La carrera por contextos más grandes continúa: los proveedores compiten para aumentar los límites, pero la pregunta de ingeniería "qué ve el modelo ahora" seguirá siendo fundamental durante mucho tiempo.