Machine Learning Mastery explicou como construir long-context RAG sem tokens extras

Em 15 de abril de 2026, Machine Learning Mastery publicou uma análise prática sobre como construir RAG com contexto longo sem desperdiçar tokens extras e sem perder a qualidade das respostas. A conclusão principal do artigo é simples: até mesmo modelos com janelas de centenas de milhares e milhões de tokens não eliminam RAG, mas forçam você a reconstruir sua arquitetura.

Por que Contexto Longo Não Salva

Não muito tempo atrás, o conselho padrão para RAG soava assim: dividir documentos em pequenos fragmentos, convertê-los em embeddings e recuperar os fragmentos mais relevantes. Isso foi motivado pelas limitações dos próprios LLMs: contexto era caro e acabava rapidamente. Agora os desenvolvedores têm modelos com janelas de um milhão de tokens, e a tentação é óbvia — simplesmente carregar toda a regulamentação, todas as instruções ou toda a base de conhecimento no prompt.

Mas na prática, essa abordagem logo esbarra em dois problemas. O primeiro é o efeito Lost in the Middle, quando o modelo piora em notar informações importantes se elas estão escondidas no meio de um contexto longo. O segundo é o custo: processar um enorme volume de texto através do modelo em cada requisição é lento e caro.

Como resultado, RAG com contexto longo se transforma de uma tarefa de "como colocar mais texto" em uma tarefa de "como dar ao modelo exatamente o contexto que ele realmente vai prestar atenção".

Cinco Técnicas que Funcionam

Machine Learning Mastery oferece não uma bala de prata, mas um conjunto de truques práticos que podem ser combinados em um pipeline. A ideia é não apenas buscar documentos, mas gerenciar a ordem, o volume e o método de entrega de contexto ao modelo. Esta é uma mudança notável da abordagem RAG antiga, onde após a recuperação os fragmentos encontrados eram quase automaticamente enviados para o prompt sem lógica adicional em cada etapa e controle de qualidade.

• Reranking após recuperação — primeiro pegar um conjunto expandido de candidatos, depois reordená-los com um modelo separado.
• Caching de contexto — carregar um documento grande no cache uma vez e depois passar apenas a pergunta e referência a este contexto ao modelo.
• Chunking dinâmico + filtros de metadados — cortar documentos em blocos significativos e filtrá-los por seções, datas, páginas e outros metadados.
• Recuperação híbrida — combinar busca semântica e busca exata por palavra-chave para evitar perder correspondências literais em consultas técnicas.
• Expansão de consulta — expandir a pergunta original com formulações adicionais se o usuário a fez muito genericamente ou conversacionalmente.

A parte mais interessante não é a lista em si, mas como as técnicas estão interconectadas. Por exemplo, o artigo recomenda primeiro recuperar não os top-5, mas, digamos, top-20 candidatos do banco de dados vetorial, depois passá-los por um reranker e apenas depois colocar os melhores documentos no prompt estrategicamente: o mais relevante no início, o segundo mais importante no final, o resto no meio. Desta forma o desenvolvedor não luta contra as limitações da atenção do modelo, mas se adapta a elas.

Como o Pipeline Muda

O artigo mostra claramente que RAG moderno para contexto longo está ficando mais próximo da engenharia de busca do que do simples "retrieve-and-dump". Se você tem uma base de conhecimento estática, como um manual volumoso ou regulamentações internas, o caching de contexto elimina a necessidade de reprocessar centenas de milhares de tokens e reduz significativamente a latência. Isto é especialmente útil para chatbots de suporte e assistentes internos que repetidamente respondem a partir do mesmo corpus de documentos.

Outra camada importante é metadados e busca híbrida. A recuperação semântica entende bem o significado, mas pode perder o nome exato de um parâmetro, código de erro ou número de seção. A busca por palavra-chave, ao contrário, se prende a correspondências literais. Portanto, o autor aconselha combinar ambos os canais e trazer seus resultados juntos através de rank fusion. Em cima disso, é adicionada filtragem pela estrutura do documento: seções desnecessárias, datas ou páginas são primeiro eliminadas, e apenas depois a busca de similaridade é executada. Isto reduz ruído e torna o contexto final notavelmente mais limpo.

Finalmente, a expansão de consulta ajuda nos casos em que o usuário formula uma pergunta diferentemente de como a informação é registrada nos documentos. Se uma pessoa pergunta "o que fazer se o alarme de incêndio disparar," o sistema pode gerar opções adicionais como "procedimento de evacuação," "ponto de reunião," ou "saída de emergência." Através disso, a recuperação encontra não apenas correspondências diretas, mas também instruções semanticamente próximas. Para conhecimento corporativo, documentos de compliance e documentação técnica, isto é especialmente valioso.

O Que Isso Significa

O artigo de Machine Learning Mastery fixa uma mudança importante: modelos com contexto longo não mataram RAG, eles o tornaram maduro. Agora não são as equipes que carregam a quantidade máxima de texto no prompt que ganham, mas aquelas que sabem como classificar, filtrar, cachear e reutilizar contexto adequadamente. Para equipes de produto, isso significa custos de token mais baixos, latência mais baixa e respostas mais previsíveis em corpora de documentos longos. Isto é exatamente o que se torna o novo padrão para assistentes de IA corporativos.