Modelos open-source de 2026 prometem 1 milhão de tokens de contexto, mas leem de forma seletiva

Nos cards dos modelos abertos mais recentes de 2026, aparece “1 milhão de contexto”. Por dentro, o quadro é outro: o GLM-5.3 escolhe 2048 tokens do histórico a cada passo, o DeepSeek-V4-Pro trabalha com 1024 blocos comprimidos, e no Qwen3.8 e no Kimi K3 só uma de cada quatro camadas vê o histórico inteiro. Vladimir Lushin, que desenvolve agentes de IA e ferramentas para trabalho com código no Sber, explicou no Habr o que isso significa na prática. A conclusão vale para quem constrói agentes: o tamanho de janela anunciado diz quantos tokens cabem, mas não quantos deles o modelo de fato leva em conta.

Três esquemas de seleção em vez de leitura completa

Lushin divide os modelos open-source recentes em três famílias. Parte das configurações ele leu diretamente no config.json do Hugging Face; o restante veio dos cards e dos relatórios técnicos. As conclusões sobre o que o modelo “lê” são do próprio autor, a partir da arquitetura: os desenvolvedores dos modelos não declararam isso.

• Top-k esparso: GLM-5.x, DeepSeek-V4, MiniMax M3. A cada passo, o modelo seleciona apenas parte do histórico: no GLM-5.3 são 2048 tokens; no DeepSeek-V4-Pro, 1024 blocos comprimidos.
• Híbridos “3 camadas lineares + 1 completa”: Qwen3.5–3.8, Kimi K3, GLM-5.3-Flash. A atenção total a todo o histórico existe apenas a cada quatro camadas.
• Janela deslizante mais camadas globais: Gemma 4.

Os três esquemas têm um ponto em comum. Só as últimas algumas centenas de tokens são lidas com precisão garantida. O restante precisa vencer a seleção por relevância ou sobreviver de forma comprimida. Na maioria dos modelos, a qualidade desaba em algum ponto entre 128 e 256 mil tokens. O Kimi K3 com compactação em 300 mil supera a si mesmo com a janela completa de 1 milhão. Para a economia da inferência, isso pesa: um contexto curto e bem empacotado entrega um resultado melhor e carrega várias vezes menos tokens.

Por que a regra do AGENTS.md some por volta da centésima chamada

Em cada passo da geração, cada camada decide de novo para quais tokens passados olhar e com que peso. Suponha que, no início da sessão, o agente tenha sido instruído a não mexer em determinado arquivo. Depois de 300 mil tokens, ele está prestes a executar um comando que vai alterar esse arquivo. Para a proibição funcionar, pelo menos parte das camadas precisa alcançar aquela linha lá do começo e dar a ela um peso relevante. Se vão alcançar ou não é questão de probabilidade, e não do fato de o texto estar formalmente dentro da janela.

O autor explica isso com um poodle. No início do treino, o adestrador disse “não pegue nada do chão”; depois, o cão executou dezenas de comandos, e na cabeça dele ficou principalmente o último “vai passear!”. Quando há uma salsicha no chão, o desfecho é previsível. A regra do AGENTS.md faz o papel daquele primeiro comando, e o caderno do adestrador com “o que já foi treinado” equivale à compactação e ao arquivo de progresso.

Harness: onde colocar o texto e o que trancar com hooks

A tese central do artigo: para o harness, importa mais onde colocar o texto do que o que está escrito nele. Cinco técnicas funcionam melhor:

• limpar saídas antigas de ferramentas, para que não entulhem a janela;
• busca sob demanda em vez de “despejar tudo”;
• divulgação progressiva: o agente recebe os detalhes conforme a necessidade;
• estado fora da janela: arquivo de progresso, anotações, memória externa;
• repetir as regras-chave no fim do contexto, onde a atenção é garantidamente mais forte.

Uma categoria à parte é a do que nunca pode ser violado. Restrições desse tipo não devem ficar a cargo da atenção do modelo: é preciso garanti-las com hooks e permissões de acesso. Se a proibição de apagar ou gravar está implementada como uma verificação antes da chamada da ferramenta, não importa se alguma camada alcançou essa regra no token 300 mil.

A ordem prática para uma equipe que constrói um agente sobre modelos abertos é esta. Primeiro, descobrir a arquitetura do modelo específico pelo config.json. Depois, manter o contexto de trabalho entre 128 e 256 mil tokens, em vez de correr atrás do milhão. Duplicar as regras críticas no fim do contexto, comprimir o histórico longo e migrar as proibições rígidas do texto do prompt para o código do harness.