LASAGNA a testé 450 configurations RAG : les +47% promis se réduisent à +17%

Le nouvel article Retrieval Augmented Generation Compositionality remet en cause la manière habituelle de comparer les techniques RAG. Ses auteurs publient LASAGNA, un framework open source d'évaluation contrôlée, et l'ont utilisé pour tester 450 configurations sur huit benchmarks, avec des corpus de 5 000 à 200 000 documents. Le résultat le plus parlant : prises séparément, trois techniques de retrieval laissaient prévoir un gain cumulé de +47%, mais une fois assemblées dans un même pipeline, elles n'ont donné que +17%.

Pourquoi les mesures isolées gonflent les attentes

Le RAG moderne a depuis longtemps cessé d'être un simple duo « embeddings plus recherche vectorielle ». Un pipeline typique comprend un modèle d'embedding, du chunking, du retrieval, du reranking, une expansion de requête, une compression du contexte et une vérification agentique de la réponse. Chacun de ces éléments fait généralement l'objet d'un article distinct et est évalué sur son propre terrain, en ne changeant qu'un composant toutes choses égales par ailleurs.

Les auteurs de LASAGNA se sont demandé si ces gains survivent à la combinaison. La réponse est décevante. Trois techniques performantes, issues d'étapes différentes du pipeline, ne s'additionnent pas arithmétiquement : les +47% attendus se sont transformés en +17%. On peut raisonnablement supposer que certaines techniques traitent des problèmes qui se recoupent, et que la seconde méthode se contente de rattraper ce que la première avait déjà corrigé. Mais l'essentiel n'est pas l'explication, c'est l'écart lui-même, de près de trois fois.

La méthodologie mérite aussi d'être soulignée. Les auteurs ont annoncé leurs trois hypothèses à l'avance, avant de lancer les expériences. Dans un domaine où les conclusions sont souvent ajustées a posteriori sur les meilleurs runs, c'est un vrai gage de crédibilité.

Retrieval et fidélité des réponses tirent dans des sens opposés

La deuxième conclusion concerne les métriques elles-mêmes. Les gains des composants ne se cumulent pas de la même façon pour la qualité du retrieval et pour la faithfulness, c'est-à-dire la mesure dans laquelle la réponse reste ancrée dans les sources retrouvées. Optimiser l'un des indicateurs peut dégrader l'autre.

En pratique, une équipe qui fait grimper le recall en ne regardant que la qualité des résultats de recherche risque de perdre, sans s'en apercevoir, en fiabilité des réponses finales. Or c'est précisément pour cette fiabilité qu'on déploie du RAG : pour que le modèle s'appuie sur des connaissances externes au lieu d'inventer.

Le gagnant à 5K n'est pas forcément le gagnant à 200K

La troisième découverte porte sur l'échelle. La meilleure combinaison change à mesure que le corpus grossit : l'assemblage qui l'emportait sur un petit ensemble de documents peut perdre sur un grand. De nombreuses expériences, académiques comme internes, sont menées justement sur de petits échantillons, parce que c'est rapide et peu coûteux, puis leurs conclusions sont transposées en production, où les documents se comptent en ordres de grandeur de plus.

Ce que l'étude établit :

• Framework : LASAGNA, open source • Configurations testées : 450 • Benchmarks : 8 • Taille des corpus : de 5K à 200K documents • Hypothèses annoncées à l'avance : 3 • Écart clé : +47% attendus contre +17% constatés pour les trois techniques de retrieval

Comment refaire l'évaluation de RAG chez vous

La leçon pratique pour les ingénieurs est directe : n'additionnez pas les gains rapportés dans les articles, et ne partez pas du principe que trois bonnes idées produiront la somme de trois améliorations. Il faut tester une nouvelle technique au sein de la pile complète qui tourne réellement chez vous, et la comparer à la configuration actuelle dans son ensemble.

Deuxième point : mesurez le retrieval et la faithfulness séparément, et surveillez les deux indicateurs en même temps. Si un gain côté recherche s'accompagne d'une baisse de fidélité, c'est une raison de s'arrêter, pas de se réjouir.

Troisième point : testez sur un corpus dont la taille se rapproche de celle de la production. Les résultats obtenus sur 5 000 documents prédisent mal le comportement sur 200 000, si bien que choisir une architecture à partir d'un petit benchmark peut se révéler une erreur.

Les auteurs appellent les chercheurs à évaluer les nouvelles méthodes RAG dans l'environnement complet et proposent LASAGNA pour que ces expériences demandent moins d'efforts. Pour l'industrie, c'est l'occasion de réexaminer les chiffres sur lesquels reposent les décisions d'architecture des pipelines de recherche.