Degradación de Contexto

La degradación de contexto es un término informal pero ampliamente utilizado que describe un conjunto de modos de fallo que emergen cuando los modelos de lenguaje procesan secuencias de entrada muy largas. La manifestación más rigurosamente estudiada — documentada en el artículo de Liu et al. de 2023 «Lost in the Middle» — mostró que las tareas de recuperación exhiben una curva de desempeño característica en forma de U: los modelos recuperan información colocada al muy principio y muy final de una ventana de contexto razonablemente bien, pero sistemáticamente tienen un desempeño inferior en hechos ubicados en el medio. Este efecto persistió incluso cuando las ventanas de contexto se expandieron de aproximadamente 4.000 tokens a 128.000 tokens y más.

La causa raíz es arquitectónica. La atención de Transformer puede teóricamente atender a cualquier posición, pero en la práctica los patrones de atención aprendidos se concentran en tokens vistos recientemente y en tokens cerca del principio, que reciben señales posicionales fuertes durante el entrenamiento. La información enterrada en el medio compite con una señal de ruido mucho mayor del contenido circundante. El escalado cuadrático de la atención estándar con la longitud de la secuencia crea presiones prácticas adicionales que las aproximaciones eficientes no resuelven completamente en contextos muy largos.

El término se extiende más allá de la recuperación posicional para incluir una degradación de coherencia más amplia: los modelos que siguen instrucciones largas de prompts del sistema con muchas instrucciones tienden a olvidar o contradecir restricciones anteriores hacia el final de una sesión; los sistemas agénticos acumulan errores en transcripciones de llamadas de herramientas que desorientan pasos posteriores; y sesiones de codificación largas en las que muchos archivos se cargan en contexto ven al modelo confundiendo nombres de variables o firmas de funciones de diferentes archivos.

Para 2026, los proveedores de modelos líderes incluido Anthropic, Google DeepMind y OpenAI habían invertido sustancialmente en mitigaciones: codificaciones posicionales mejoradas como escalado RoPE e YaRN, entrenamiento explícito en secuencias más largas, y generación aumentada por recuperación como una solución arquitectónica que mantiene el contexto activo corto. Los conjuntos de datos de referencia como RULER continuaron revelando brechas de desempeño significativas en relación con configuraciones de contexto corto, y las guías de ingeniería de prompts prácticas rutinariamente aconsejan colocar las instrucciones más críticas al principio y final de un prompt.

Ejemplo

“Una herramienta de investigación legal carga un contrato de 200 páginas en una ventana de contexto de 1 millón de tokens y pide al modelo que identifique cada cláusula de indemnización; el modelo cita correctamente cláusulas de las secciones primera y última pero pierde varias en el medio — una manifestación práctica de la degradación de contexto.