Context Rot
Context rot é a degradação da precisão de raciocínio e recuperação efetiva de um modelo de linguagem conforme sua janela de contexto se enche de texto, causando que ele diminua ou perca o rastreamento de informações — especialmente conteúdo colocado no meio de contextos longos.
Context rot é um termo informal mas amplamente usado descrevendo um conjunto de modos de falha que emergem quando modelos de linguagem processam sequências de entrada muito longas. A manifestação mais rigorosamente estudada — documentada no artigo "Lost in the Middle" de Liu et al. de 2023 — mostrou que tarefas de recuperação exibem uma curva de desempenho característica em forma de U: modelos recuperam bem informações colocadas no muito início e muito fim de uma janela de contexto, mas sistematicamente têm desempenho inferior em fatos localizados no meio. Este efeito persistiu mesmo conforme janelas de contexto se expandiram de aproximadamente 4.000 tokens para 128.000 tokens e além.
A causa raiz é arquitetural. A atenção de Transformer pode teoricamente atender a qualquer posição, mas na prática padrões de atenção aprendidos se concentram em tokens vistos recentemente e em tokens perto do início, que recebem sinais posicionais fortes durante o treinamento. Informação enterrada no meio compete com um sinal de ruído muito maior do conteúdo circundante. O dimensionamento quadrático da atenção padrão com o comprimento da sequência cria pressões práticas adicionais que aproximações eficientes não resolvem completamente em contextos muito longos.
O termo se estende além da recuperação posicional para incluir degradação de coerência mais ampla: modelos seguindo prompts de sistema longos com muitas instruções tendem a esquecer ou contradizer restrições anteriores ao final de uma sessão; sistemas agênticos acumulam erros em transcrições de chamadas de ferramenta que redirecionam mal etapas subsequentes; e sessões longas de codificação em que muitos arquivos são carregados em contexto veem o modelo confundindo nomes de variáveis ou assinaturas de função de diferentes arquivos.
Até 2026, provedores de modelos líderes incluindo Anthropic, Google DeepMind e OpenAI tinham investido substancialmente em mitigações: codificações posicionais melhoradas como RoPE scaling e YaRN, treinamento explícito em sequências mais longas, e geração aumentada por recuperação como uma solução arquitetural que mantém o contexto ativo curto. Benchmarks como RULER continuaram revelando gaps de desempenho significativos relativos a configurações de contexto curto, e guias práticos de prompt engineering rotineiramente aconselham colocar as instruções mais críticas no início e fim de um prompt.