LASAGNA проверила 450 RAG-конфигураций: обещанные +47% дали лишь +17%

Новая работа Retrieval Augmented Generation Compositionality бьёт по привычному способу сравнивать RAG-техники. Авторы выпустили открытый фреймворк LASAGNA для контролируемой оценки и прогнали через него 450 конфигураций на восьми бенчмарках, с корпусами от 5 тысяч до 200 тысяч документов. Самый показательный результат: три техники retrieval по отдельности предсказывали суммарный прирост в +47%, а когда их собрали в один пайплайн, получили только +17%.

Почему замеры в изоляции завышают ожидания

Современный RAG давно перестал быть связкой «эмбеддинги плюс векторный поиск». В типичном конвейере сидят embedding-модель, chunking, retrieval, reranking, расширение запроса, сжатие контекста и агентная верификация ответа. Каждую из этих деталей обычно описывают в отдельной статье и проверяют на своём фоне, меняя один компонент при прочих равных.

Авторы LASAGNA задались вопросом, переживают ли эти приросты объединение. Ответ получился неприятным. Три сильные техники из разных этапов пайплайна не складываются арифметически: ожидаемые +47% превратились в +17%. Логично предположить, что часть техник решает пересекающиеся проблемы, и второй метод просто подбирает то, что первый уже исправил. Но главное здесь не объяснение, а сам разрыв почти втрое.

Отдельно стоит методика. Три гипотезы авторы объявили заранее, до запуска экспериментов. Для области, где выводы нередко подгоняют под удачные прогоны, это заметный плюс к доверию.

Поиск и верность ответа тянут в разные стороны

Второй вывод касается самих метрик. Приросты компонентов складываются по-разному для качества retrieval и для faithfulness, то есть для того, насколько ответ держится за найденные источники. Оптимизация одного показателя может ухудшать другой.

На практике это означает, что команда, которая гонит вверх recall и смотрит только на качество выдачи, рискует незаметно потерять в надёжности итоговых ответов. А именно ради этой надёжности RAG и внедряют: чтобы модель опиралась на внешние знания, а не фантазировала.

Победитель на 5K не обязан побеждать на 200K

Третья находка про масштаб. Лучшая комбинация меняется по мере роста корпуса: связка, выигравшая на небольшом наборе документов, на большом может уступить. Многие академические и внутренние эксперименты проводят именно на небольших выборках, так как это быстро и дёшево, а потом переносят выводы в продакшн, где документов на порядки больше.

Что зафиксировано в работе:

• Фреймворк: LASAGNA, открытый исходный код • Конфигураций протестировано: 450 • Бенчмарков: 8 • Размер корпусов: от 5K до 200K документов • Гипотез, объявленных заранее: 3 • Ключевой разрыв: ожидаемые +47% против фактических +17% для трёх техник retrieval

Как пересобрать оценку RAG у себя

Практический вывод для инженеров прямой: не складывайте приросты из статей и не считайте, что три хорошие идеи дадут сумму трёх улучшений. Новую технику нужно проверять внутри полного стека, который у вас реально работает, и сравнивать с текущей конфигурацией целиком.

Второе: измеряйте retrieval и faithfulness раздельно и смотрите на оба показателя одновременно. Если прирост поиска сопровождается падением верности, это повод остановиться, а не радоваться.

Третье: тестируйте на корпусе, близком к боевому по размеру. Результаты на 5 тысячах документов плохо предсказывают поведение на 200 тысячах, а значит, выбор архитектуры по маленькому бенчмарку может оказаться ошибкой.

Авторы призывают исследователей оценивать новые RAG-методы в полном окружении и предлагают LASAGNA, чтобы такие эксперименты стоили меньше усилий. Для индустрии это шанс пересмотреть, на каких цифрах держатся решения по архитектуре поисковых пайплайнов.