Por qué ChatGPT olvida: qué es la ventana de contexto de los modelos de lenguaje

Tras una hora trabajando con ChatGPT, el modelo olvida de repente detalles de los primeros mensajes: se contradice y vuelve a preguntar por cosas que ya se habían acordado. No es un fallo. Así funciona la ventana de contexto, y entender este mecanismo es importante para cualquiera que use AI en su trabajo.

Qué es la ventana de contexto

Un modelo de lenguaje no «recuerda» la conversación en el sentido humano. Procesa el texto como un único bloque, el llamado contexto. La ventana de contexto es el volumen máximo de texto que el modelo puede tener en cuenta en una sola petición.

La unidad de medida es el token: aproximadamente 3–4 caracteres en inglés o 1–2 palabras en ruso. Los modelos actuales trabajan con ventanas de distinta capacidad: GPT-4o — hasta 128 000 tokens (unas 96 000 palabras) Claude 3.7 Sonnet — hasta 200 000 tokens * Gemini 1.

5 Pro — hasta 2 000 000 tokens * Llama 3 — de 8 000 a 128 000 tokens, según la versión Incluso 128 000 tokens equivalen a unas 300 páginas de texto. Parece mucho, pero en sesiones de trabajo reales, con una base de código, documentos y un diálogo largo, ese límite se alcanza antes de lo que parece.

Por qué el modelo «olvida»

Cuando la conversación supera la ventana de contexto, el modelo no «olvida»: simplemente no ve los mensajes antiguos. Técnicamente, no están en los datos de entrada de la petición. La mayoría de los servicios resuelven este problema de una de dos maneras.

Recorte: los mensajes más antiguos se eliminan del contexto. El modelo sigue respondiendo, pero sin acceso al inicio de la conversación. Así funcionan por defecto la mayoría de las interfaces de chat.

Resumen: en lugar de los primeros N mensajes, se introduce en el contexto un resumen generado por el propio modelo. Se pierden detalles, pero se conserva el hilo general. Existe también un tercer enfoque, RAG (Retrieval-Augmented Generation): la información importante se guarda en una base externa y se carga en el contexto solo cuando hace falta.

Así funcionan los sistemas de AI más complejos y las soluciones corporativas.

Perdido en el medio: el problema oculto El desbordamiento no es el único problema.

La calidad de las respuestas se degrada incluso antes de que se agote el contexto. Investigadores de Stanford y Berkeley describieron en 2023 el fenómeno de «perderse en el medio» (lost in the middle): los modelos aprovechan mucho mejor la información situada al principio y al final del contexto. Los datos que quedan en el medio se procesan peor; es como si el modelo «no los viera».

«Los modelos de lenguaje tienden a usar peor la información relevante cuando se encuentra en medio de un contexto largo», del estudio Lost in the Middle, 2023.

La conclusión práctica: conviene dar las instrucciones clave al principio o al final de la petición, y no enterrarlas en medio de un documento largo.

Cómo trabajar con esta limitación

Algunas estrategias prácticas: Divide las tareas: en lugar de una única sesión gigantesca, reparte el trabajo en sesiones con resultados intermedios claros Coloca lo importante al principio: el prompt de sistema y las restricciones clave funcionan mejor al inicio del contexto Usa modelos con ventanas grandes: para documentos voluminosos, elige Gemini 1.5 Pro (2M tokens) o Claude con 200K Resume por tu cuenta: antes de una nueva sesión, pide al modelo que resuma la anterior y guarda ese texto * Calcula la longitud de antemano: 1 página de texto ≈ 500 tokens, 1 archivo de código ≈ 1 000–5 000 tokens ## Qué significa esto La ventana de contexto no es un matiz técnico, sino el parámetro central de cualquier trabajo con modelos de lenguaje. Entender esta limitación permite no achacar el comportamiento «extraño» del modelo a un fallo y organizar correctamente las sesiones de trabajo.

La carrera por contextos más grandes continúa: los proveedores compiten por ampliar los límites, pero la cuestión de ingeniería de «qué ve el modelo en este momento» seguirá siendo clave durante mucho tiempo.