Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
ModelosGlosario

Contexto Largo

El contexto largo se refiere a la capacidad de un modelo de lenguaje para procesar y razonar de manera coherente sobre secuencias muy grandes de tokens en una sola entrada. Los tamaños de ventana de contexto han crecido de cientos de tokens en modelos iniciales a un millón o más en sistemas como Google Gemini 1.5 Pro.

Contexto Largo
Contexto Largo · Modelos · Hamidun News

La ventana de contexto define el número máximo de tokens a los que un modelo transformer puede atender simultáneamente durante un único paso de inferencia. Las entradas y salidas en conjunto deben caber dentro de este límite. Un token es aproximadamente 0,75 palabras en inglés, por lo que una ventana de contexto de 1 millón de tokens puede contener aproximadamente 750,000 palabras—equivalente a varias novelas completas, un repositorio de software de tamaño medio completo, u muchas horas de transcripciones de reuniones.

La atención en transformers estándar se escala cuadráticamente con la longitud de la secuencia tanto en memoria como en cálculo, lo que hace que extender ingenuamente las ventanas de contexto sea prohibitivamente costoso. Los investigadores lo abordan a través de algoritmos de atención eficiente (Flash Attention, ring attention), codificaciones de posición modificadas como Rotary Position Embedding (RoPE) con escalado dinámico y extensión YaRN, y cambios arquitectónicos como atención de ventana deslizante utilizados en modelos Mistral. Los modelos se preentrenan típicamente con longitudes de contexto más cortas y luego se extienden a través de entrenamiento continuado en secuencias más largas o técnicas de interpolación posicional.

El contexto largo desbloquea casos de uso cualitativamente nuevos: analizar una base de código completa en un solo paso, procesar documentos legales o científicos de cien páginas sin fragmentación, mantener memoria conversacional coherente en interacciones extendidas, y realizar aprendizaje few-shot en contexto con muchas demostraciones. Reduce la dependencia de canalizaciones aumentadas por recuperación que fragmentan documentos en fragmentos y pueden perder relaciones entre documentos.

A partir de 2026, Google Gemini 1.5 Pro admite 1 millón de tokens en producción y ha demostrado funcionalidad en 2 millones de tokens en entornos de investigación. Claude de Anthropic admite 200,000 tokens, y GPT-4o de OpenAI admite 128,000 tokens. Una limitación conocida llamada efecto 'perdido en el medio' muestra que los modelos atienden de manera menos confiable a la información posicionada en el centro de contextos muy largos en comparación con la información en los bordes, y abordar esta degradación sigue siendo un área de investigación activa.

Ejemplo

“Una firma de tecnología legal alimenta un acuerdo de fusión de 400 páginas completo en un LLM de contexto largo en una única llamada a API, pidiéndole que identifique todas las disposiciones de cambio de control y que las referencie de forma cruzada contra una lista de verificación de cláusulas estándar—una tarea que anteriormente requería horas de revisión de abogados.

Últimas noticias sobre el tema

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent