Por que o ChatGPT esquece: entenda a janela de contexto dos modelos de linguagem

Depois de uma hora de trabalho com o ChatGPT, o modelo de repente esquece detalhes das primeiras mensagens. Ele se contradiz e volta a perguntar sobre algo que já foi combinado. Não é uma falha: é assim que funciona a janela de contexto, e entender esse mecanismo é importante para qualquer pessoa que usa AI no trabalho.

O que é a janela de contexto

Um modelo de linguagem não “lembra” da conversa no sentido humano. Ele processa o texto como um bloco único, o chamado contexto. A janela de contexto é o volume máximo de texto que o modelo consegue considerar em uma única requisição. A unidade de medida é o token, que equivale a cerca de 3–4 caracteres em inglês ou 1–2 palavras em russo.

Os modelos atuais trabalham com janelas de capacidades diferentes:

• GPT-4o — até 128 000 tokens (cerca de 96 000 palavras)
• Claude 3.7 Sonnet — até 200 000 tokens
• Gemini 1.5 Pro — até 2 000 000 tokens
• Llama 3 — de 8 000 a 128 000 tokens, dependendo da versão

Mesmo 128 000 tokens correspondem a cerca de 300 páginas de texto. Parece muito, mas em sessões de trabalho reais, com uma base de código, documentos e um diálogo longo, esse limite é atingido mais rápido do que parece.

Por que o modelo “esquece”

Quando a conversa excede a janela de contexto, o modelo não “esquece”: ele simplesmente não vê as mensagens antigas. Tecnicamente, elas não estão presentes nos dados de entrada da requisição.

A maioria dos serviços resolve esse problema de uma de duas formas.

Truncamento: as mensagens mais antigas são removidas do contexto. O modelo continua respondendo, mas sem acesso ao início da conversa. É assim que a maioria das interfaces de chat funciona por padrão.

Sumarização: no lugar das primeiras N mensagens, o contexto recebe um resumo delas, gerado pelo próprio modelo. Os detalhes se perdem, mas o fio condutor se mantém.

Há ainda uma terceira abordagem, o RAG (Retrieval-Augmented Generation): as informações importantes ficam armazenadas em uma base externa e são carregadas no contexto apenas quando necessário. É assim que funcionam sistemas de AI mais complexos e soluções corporativas.

Perda no meio: o problema oculto

A questão não se resume ao estouro do limite. A qualidade das respostas se degrada antes mesmo de o contexto acabar.

Em 2023, pesquisadores de Stanford e Berkeley descreveram o fenômeno da “perda no meio” (lost in the middle): os modelos aproveitam muito melhor as informações do início e do fim do contexto. Os dados que ficam no meio são processados com menos eficiência, como se o modelo “não os notasse”.

“Os modelos de linguagem tendem a usar pior as informações relevantes quando elas estão no meio de um contexto longo”, — do estudo

Lost in the Middle, 2023.

Na prática, isso significa que as instruções-chave devem ficar no início ou no fim da requisição, e não enterradas no meio de um documento longo.

Como lidar com essa limitação

Algumas estratégias práticas:

• Divida as tarefas — em vez de uma única sessão gigantesca, separe o trabalho em sessões com resultados intermediários bem definidos
• Coloque o que importa no início — o system prompt e as restrições principais funcionam melhor no começo do contexto
• Use modelos com janela maior — para documentos volumosos, escolha o Gemini 1.5 Pro (2M tokens) ou o Claude com 200K
• Faça você mesmo o resumo — antes de uma nova sessão, peça ao modelo que resuma a anterior e guarde esse texto
• Estime o tamanho com antecedência — 1 página de texto ≈ 500 tokens, 1 arquivo de código ≈ 1 000–5 000 tokens

O que isso significa

A janela de contexto não é um detalhe técnico: é o parâmetro central de qualquer trabalho com modelos de linguagem. Entender essa limitação evita atribuir o comportamento “estranho” do modelo a um bug e ajuda a organizar as sessões de trabalho da forma certa.

A corrida por contextos maiores continua: os provedores disputam quem amplia mais os limites, mas a questão de engenharia “o que o modelo está vendo agora” seguirá sendo central por muito tempo.