LASAGNA testou 450 configurações de RAG: os +47% prometidos viraram apenas +17%

O novo estudo Retrieval Augmented Generation Compositionality questiona a forma habitual de comparar técnicas de RAG. Os autores lançaram o LASAGNA, um framework aberto para avaliação controlada, e rodaram 450 configurações em oito benchmarks, com corpora de 5 mil a 200 mil documentos. O resultado mais revelador: três técnicas de retrieval, avaliadas isoladamente, indicavam um ganho somado de +47%, mas, ao serem reunidas em um único pipeline, entregaram apenas +17%.

Por que medições isoladas inflam as expectativas

O RAG moderno há muito tempo deixou de ser a simples combinação de «embeddings mais busca vetorial». Um pipeline típico reúne modelo de embedding, chunking, retrieval, reranking, expansão de consulta, compressão de contexto e verificação agêntica da resposta. Cada uma dessas peças costuma ser descrita em um artigo próprio e testada de forma isolada, trocando-se um componente enquanto o restante permanece igual.

Os autores do LASAGNA quiseram saber se esses ganhos sobrevivem à combinação. A resposta foi desconfortável. Três técnicas fortes, de etapas diferentes do pipeline, não se somam de forma aritmética: os +47% esperados se transformaram em +17%. É razoável supor que parte das técnicas resolve problemas que se sobrepõem, e o segundo método acaba apenas recuperando o que o primeiro já havia corrigido. Mas o ponto central não é a explicação, e sim a diferença em si, de quase três vezes.

A metodologia também merece destaque. Os autores declararam as três hipóteses antes de rodar os experimentos. Em uma área onde as conclusões muitas vezes são ajustadas para combinar com execuções bem-sucedidas, isso é um ponto relevante a favor da credibilidade.

Busca e fidelidade da resposta puxam em direções diferentes

A segunda conclusão diz respeito às próprias métricas. Os ganhos dos componentes se acumulam de maneira distinta para a qualidade do retrieval e para a faithfulness, ou seja, o quanto a resposta se mantém fiel às fontes encontradas. Otimizar um indicador pode piorar o outro.

Na prática, isso significa que uma equipe que empurra o recall para cima e olha apenas a qualidade dos resultados de busca corre o risco de perder, sem perceber, a confiabilidade das respostas finais. E é justamente por essa confiabilidade que se adota RAG: para que o modelo se apoie em conhecimento externo, em vez de inventar.

O vencedor em 5K não é obrigado a vencer em 200K

A terceira descoberta trata de escala. A melhor combinação muda conforme o corpus cresce: a configuração que venceu em um conjunto pequeno de documentos pode perder em um grande. Muitos experimentos acadêmicos e internos são feitos justamente em amostras pequenas, por serem rápidos e baratos, e depois as conclusões são levadas para a produção, onde há ordens de grandeza mais documentos.

O que o estudo registra:

• Framework: LASAGNA, código aberto • Configurações testadas: 450 • Benchmarks: 8 • Tamanho dos corpora: de 5K a 200K documentos • Hipóteses declaradas previamente: 3 • Diferença principal: +47% esperados contra +17% reais para três técnicas de retrieval

Como refazer a avaliação de RAG na sua equipe

A conclusão prática para engenheiros é direta: não some os ganhos relatados em artigos nem presuma que três boas ideias entregarão a soma de três melhorias. Uma nova técnica precisa ser testada dentro da stack completa que realmente roda no seu ambiente e comparada com a configuração atual como um todo.

Segundo: meça retrieval e faithfulness separadamente e acompanhe os dois indicadores ao mesmo tempo. Se o ganho na busca vem acompanhado de queda na fidelidade, é motivo para parar, e não para comemorar.

Terceiro: teste em um corpus de tamanho próximo ao de produção. Resultados com 5 mil documentos preveem mal o comportamento com 200 mil, e isso significa que escolher a arquitetura com base em um benchmark pequeno pode ser um erro.

Os autores pedem que pesquisadores avaliem novos métodos de RAG no ambiente completo e oferecem o LASAGNA para que esses experimentos exijam menos esforço. Para a indústria, é uma chance de rever em quais números se apoiam as decisões de arquitetura dos pipelines de busca.