Contexto Extenso
Contexto extenso refere-se à capacidade de um modelo de linguagem processar e raciocinar de forma coerente sobre sequências muito grandes de tokens em uma única entrada. Os tamanhos das janelas de contexto cresceram de centenas de tokens em modelos antigos para um milhão ou mais em sistemas como Google Gemini 1.5 Pro.

A janela de contexto define o número máximo de tokens que um modelo transformer pode atender simultaneamente durante uma única passagem de inferência. Entradas e saídas juntas devem caber dentro desse limite. Um token é aproximadamente 0,75 palavras em inglês, então uma janela de contexto de 1 milhão de tokens pode conter aproximadamente 750.000 palavras—equivalente a vários romances de comprimento completo, um repositório de software de tamanho médio inteiro, ou muitas horas de transcrições de reuniões.
A atenção padrão do transformer escala quadraticamente com o comprimento da sequência tanto em memória quanto em computação, tornando a extensão ingênua das janelas de contexto proibitivamente cara. Pesquisadores abordam isso através de algoritmos de atenção eficiente (Flash Attention, ring attention), codificações posicionais modificadas como Incorporação de Posição Rotativa (RoPE) com scaling dinâmico e extensão YaRN, e mudanças arquiteturais como atenção de janela deslizante usada em modelos Mistral. Os modelos são tipicamente pré-treinados em comprimentos de contexto mais curtos e depois estendidos através de treinamento continuado em sequências mais longas ou técnicas de interpolação posicional.
Contexto extenso desbloqueia casos de uso qualitativamente novos: analisar um repositório de código inteiro em uma única passagem, processar documentos legais ou científicos de centenas de páginas sem fragmentação, manter memória conversacional coerente em interações estendidas, e realizar aprendizado com múltiplos exemplos em contexto. Reduz a dependência de pipelines aumentados por recuperação que fragmentam documentos em chunks e podem perder relacionamentos entre documentos.
A partir de 2026, Google Gemini 1.5 Pro suporta 1 milhão de tokens em produção e demonstrou funcionalidade em 2 milhões de tokens em ambientes de pesquisa. Claude da Anthropic suporta 200.000 tokens, e GPT-4o da OpenAI suporta 128.000 tokens. Uma limitação conhecida chamada efeito 'perdido no meio' mostra que os modelos atendem menos confiávelmente às informações posicionadas no centro de contextos muito longos em comparação com informações nas bordas, e abordar essa degradação permanece uma área de pesquisa ativa.
Exemplo
“Uma firma de tecnologia jurídica alimenta um acordo de fusão inteiro de 400 páginas em um LLM de contexto extenso em uma única chamada de API, pedindo que identifique todas as disposições de mudança de controle e as referencie cruzadamente contra uma lista de verificação de cláusulas padrão—uma tarefa que anteriormente exigia horas de revisão por advogado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.