LASAGNA probó 450 configuraciones de RAG: el +47% prometido se quedó en +17%

Un nuevo trabajo, Retrieval Augmented Generation Compositionality, cuestiona la forma habitual de comparar técnicas de RAG. Los autores han publicado LASAGNA, un framework abierto para la evaluación controlada, y han ejecutado con él 450 configuraciones en ocho benchmarks, con corpus de entre 5 mil y 200 mil documentos. El resultado más llamativo: tres técnicas de retrieval predecían por separado una mejora acumulada de +47%, pero al reunirlas en un solo pipeline el avance fue de apenas +17%.

Por qué las mediciones aisladas inflan las expectativas

El RAG actual hace tiempo que dejó de ser la combinación de «embeddings más búsqueda vectorial». Un pipeline típico incluye un modelo de embeddings, chunking, retrieval, reranking, expansión de la consulta, compresión de contexto y verificación agéntica de la respuesta. Cada una de estas piezas suele describirse en un artículo distinto y evaluarse por separado, cambiando un componente y manteniendo el resto igual.

Los autores de LASAGNA se preguntaron si esas mejoras sobreviven a la combinación. La respuesta es incómoda. Tres técnicas potentes, de distintas etapas del pipeline, no se suman de forma aritmética: el +47% esperado quedó en +17%. Es lógico suponer que algunas técnicas resuelven problemas que se solapan, de modo que el segundo método se limita a recoger lo que el primero ya había corregido. Pero lo que importa aquí es la brecha de casi tres veces, más que la explicación.

Aparte, conviene fijarse en la metodología. Los autores declararon las tres hipótesis de antemano, antes de lanzar los experimentos. En un campo donde las conclusiones se ajustan con frecuencia a las ejecuciones más favorables, eso suma credibilidad.

Búsqueda y fidelidad de la respuesta tiran en direcciones opuestas

La segunda conclusión afecta a las propias métricas. Las mejoras de los componentes se acumulan de forma distinta para la calidad del retrieval y para la faithfulness, es decir, para el grado en que la respuesta se atiene a las fuentes encontradas. Optimizar un indicador puede empeorar el otro.

En la práctica, un equipo que empuja el recall al alza y mira solo la calidad de los resultados de búsqueda corre el riesgo de perder, sin darse cuenta, fiabilidad en las respuestas finales. Y esa fiabilidad es precisamente la razón por la que se implanta RAG: que el modelo se apoye en conocimiento externo y no se invente las cosas.

El ganador con 5K no tiene por qué ganar con 200K

El tercer hallazgo tiene que ver con la escala. La mejor combinación cambia a medida que crece el corpus: la que gana con un conjunto pequeño de documentos puede perder con uno grande. Muchos experimentos, tanto académicos como internos, se hacen justo con muestras pequeñas, porque es rápido y barato, y luego se trasladan las conclusiones a producción, donde hay órdenes de magnitud más documentos.

Lo que recoge el trabajo:

• Framework: LASAGNA, código abierto • Configuraciones probadas: 450 • Benchmarks: 8 • Tamaño de los corpus: de 5K a 200K documentos • Hipótesis declaradas de antemano: 3 • Brecha clave: +47% esperado frente a +17% real para las tres técnicas de retrieval

Cómo rehacer la evaluación de RAG en tu equipo

La conclusión práctica para los ingenieros es directa: no sumen las mejoras que reportan los artículos ni den por hecho que tres buenas ideas aportarán la suma de tres mejoras. Hay que probar la nueva técnica dentro del stack completo que realmente funciona en su sistema y compararla con la configuración actual en su conjunto.

Segundo: midan retrieval y faithfulness por separado y vigilen ambos indicadores a la vez. Si una mejora en la búsqueda llega acompañada de una caída de la fidelidad, es motivo para detenerse, no para celebrar.

Tercero: prueben con un corpus de tamaño similar al de producción. Los resultados con 5 mil documentos predicen mal el comportamiento con 200 mil, así que elegir una arquitectura a partir de un benchmark pequeño puede ser un error.

Los autores instan a los investigadores a evaluar los nuevos métodos de RAG en el entorno completo y ofrecen LASAGNA para que estos experimentos exijan menos esfuerzo. Para la industria, es una oportunidad de revisar en qué cifras se apoyan las decisiones sobre la arquitectura de los pipelines de búsqueda.