Machine Learning Mastery explica como montar RAG de contexto longo sem desperdiçar tokens

Em 15 de abril de 2026, a Machine Learning Mastery publicou um guia prático sobre como construir RAG de contexto longo sem desperdiçar tokens e sem perder qualidade nas respostas. A principal conclusão do artigo é simples: mesmo modelos com janelas de centenas de milhares ou milhões de tokens não acabam com o RAG, mas obrigam a refazer sua arquitetura.

Por que o contexto longo não resolve tudo

Até pouco tempo atrás, o conselho padrão para RAG era dividir os documentos em pedaços pequenos, transformá-los em embeddings e recuperar os fragmentos mais relevantes. Isso era ditado pelas limitações dos próprios LLMs: o contexto era caro e acabava rápido. Agora os desenvolvedores têm modelos com janelas de um milhão de tokens, e a tentação é óbvia: simplesmente carregar no prompt todo o regulamento, todas as instruções ou a base de conhecimento inteira.

Na prática, porém, essa abordagem esbarra rapidamente em dois problemas. O primeiro é o efeito Lost in the Middle: o modelo percebe pior as informações importantes quando elas estão no meio de um contexto longo. O segundo é o custo: passar um volume enorme de texto pelo modelo a cada consulta é lento e caro.

Como resultado, o RAG de contexto longo deixa de ser a tarefa de "como enfiar mais texto" e vira a tarefa de "como dar ao modelo exatamente o contexto ao qual ele de fato vai prestar atenção".

Cinco técnicas que funcionam

A Machine Learning Mastery não oferece uma bala de prata, e sim um conjunto de práticas que podem ser combinadas em um mesmo pipeline. A ideia é não apenas buscar documentos, mas controlar a ordem, o volume e a forma de entregar o contexto ao modelo. É uma mudança notável em relação à abordagem antiga de RAG, em que, depois do retrieval, os trechos encontrados iam quase automaticamente para o prompt, sem lógica adicional nem controle de qualidade em cada etapa.

• Reranking após o retrieval: primeiro pegar um conjunto ampliado de candidatos e depois reordená-los com um modelo separado.
• Context caching: carregar o documento grande no cache uma única vez e, a partir daí, passar ao modelo apenas a pergunta e uma referência a esse contexto.
• Dynamic chunking + metadata filters: dividir os documentos em blocos com sentido e filtrá-los por seções, datas, páginas e outros metadados.
• Hybrid retrieval: combinar busca semântica e busca exata por palavras-chave, para não perder correspondências literais em consultas técnicas.
• Query expansion: expandir a pergunta original com formulações adicionais, caso o usuário a tenha feito de forma muito genérica ou coloquial.

A parte mais interessante não é a lista em si, mas como as técnicas se conectam. Por exemplo, o artigo recomenda buscar na base vetorial não o top 5, mas, digamos, o top 20 de candidatos, passá-los por um reranker e só depois posicionar os melhores documentos no prompt de forma estratégica: o mais relevante no início, o segundo mais importante no fim e os demais no meio. Assim, o desenvolvedor não briga com as limitações da atenção do modelo, e sim se adapta a elas.

Como o pipeline muda

O artigo mostra bem que o RAG moderno para contexto longo fica mais próximo da engenharia de busca do que do simples "retrieve-and-dump". Se você tem uma base de conhecimento estática, como um manual extenso ou um regulamento interno, o context caching elimina o reprocessamento de centenas de milhares de tokens e reduz bastante a latência. Isso é especialmente útil para chatbots de suporte e assistentes internos que respondem repetidamente sobre o mesmo corpus de documentos.

Outra camada importante são os metadados e a busca híbrida. O retrieval semântico entende bem o significado, mas pode deixar passar o nome exato de um parâmetro, um código de erro ou um número de seção. Já a busca por palavras-chave se prende às correspondências literais. Por isso o autor aconselha unir os dois canais e combinar seus resultados com rank fusion. Por cima disso entra a filtragem pela estrutura do documento: primeiro eliminam-se seções, datas ou páginas desnecessárias e só depois roda-se a similarity search. Isso reduz o ruído e deixa o contexto final bem mais limpo.

Por fim, a query expansion ajuda quando o usuário formula a pergunta de um jeito diferente de como a informação está escrita nos documentos. Se alguém pergunta "o que fazer se o alarme de incêndio disparar", o sistema pode gerar também variações como "procedimento de evacuação", "ponto de encontro" ou "saída de emergência". Com isso, o retrieval encontra não só correspondências diretas, mas também instruções próximas em significado. Isso é especialmente valioso para conhecimento corporativo, documentos de compliance e documentação técnica.

O que isso significa

O artigo da Machine Learning Mastery registra uma mudança importante: os modelos de contexto longo não mataram o RAG, mas o amadureceram. Agora quem se dá bem não são as equipes que carregam o máximo de texto no prompt, e sim as que sabem ranquear, filtrar, cachear e reaproveitar o contexto com critério. Para as equipes de produto, isso significa menos gastos com tokens, menor latência e respostas mais previsíveis sobre grandes corpus de documentos. É isso que está virando o novo padrão para assistentes de IA corporativos.