OpenAI y Grok pierden ante un RAG a medida en el Agentic RAG Legal Challenge

Los autores del artículo repasan cómo su equipo afrontó el Agentic RAG Legal Challenge, una competición internacional de respuesta a preguntas a partir de PDF jurídicos. La conclusión principal es incómodamente práctica: lo que gana no es el nombre llamativo de un modelo, sino la capacidad de vincular con precisión la respuesta a la página correcta del documento.

Cómo se evaluaron los sistemas

Participaron más de 300 equipos y el corpus estaba formado por sentencias reales, leyes y actos regulatorios del DIFC en inglés. Primero se entregaron a los participantes 30 documentos y 100 preguntas de calentamiento, y después casi 300 documentos y 900 preguntas para la final. Las preguntas eran de distintos tipos: fechas, números, nombres, listas, sí o no y respuestas libres breves. Pero lo más importante no era solo la exactitud de la formulación, sino la métrica Grounding: si las páginas indicadas coincidían con aquellas de las que realmente se había extraído la respuesta.

«Incluso una respuesta perfecta se anula si cita una página equivocada.»

Para ello, el equipo montó su propio pipeline: convirtió los PDF a Markdown, los dividió en chunks semánticos, generó contexto para cada uno, calculó embeddings densos y dispersos (sparse) y lo almacenó todo en Qdrant. Parte del trabajo se ejecutó en local en un Mac Studio M3 Ultra. La máquina resolvió rápido el parseo de 30 PDF y los embeddings locales, pero la generación de contexto para los chunks resultó demasiado lenta: por el prefill largo, cada chunk tardaba entre 15 y 20 segundos, así que esa fase hubo que trasladarla a una API externa.

Quién fracasó primero

Lo primero que probaron los autores fue el camino más perezoso: subir los documentos a la base de conocimiento integrada de OpenAI. A simple vista el resultado parecía decente, pero las métricas dieron un Total de 0.362: las respuestas eran a menudo buenas, pero la cita de páginas lo estropeaba todo.

Después probaron CAG, que envía al modelo casi todo el corpus de una vez, sin búsqueda por fragmentos. Un experimento con Qwen 3.5 Flash y un contexto de hasta 1 millón de tokens mostró que CAG no es inútil: la precisión fue alta, pero el Grounding volvió a fallar. BM25 puro rindió aún peor y fue el intento más débil.

De esta ronda salieron varias conclusiones desagradables pero útiles:

• las bases de conocimiento integradas de los grandes actores no garantizan una buena citación;
• CAG puede responder con precisión, pero sin una vinculación cuidadosa a las páginas pierde en la puntuación final;
• el BM25 clásico, por sí solo, ya no puede con preguntas jurídicas complejas;
• un RAG híbrido con un reranking adecuado resultó más fuerte que las soluciones integradas de OpenAI y Grok.

El sistema propio, MORAG, tampoco impresionó al principio: un Qwen local pequeño mantenía mal la precisión y se desmoronaba sobre todo en preguntas multidocumento. El punto de inflexión llegó al pasar a Grok a través de OpenRouter y con una selección de chunks más estricta. En el calentamiento, el equipo subió de un Total de 0.362 en las primeras pruebas a 0.780 en el último intento, y el Grounding pasó de aproximadamente 0.45 a 0.90. Ese salto, y no cambiar un modelo de moda por otro, fue el principal factor de avance.

Qué ayudó de verdad

La mayor mejora no vino de "mejoras de calidad" abstractas, sino de unas pocas decisiones de ingeniería muy concretas. El equipo separó los modos reasoning y non-reasoning según el tipo de pregunta, añadió un ciclo agéntico con nueva búsqueda cuando faltaban datos y construyó por separado un gold set para verificar las respuestas a las 900 preguntas. Eso permitió no disparar a ciegas en la final y encontrar rápido errores sistemáticos, como la mala interpretación de la fórmula sobre una apelación presentada pero rechazada.

• el modelo reasoning se mantuvo para boolean, name y names, donde non-reasoning perdía entre un 8 % y un 16 % de precisión;
• para date, number y free_text se usó el modo non-reasoning, más rápido, sin una caída apreciable;
• a la búsqueda se añadieron las primeras 1–3 páginas de los documentos mencionados en la pregunta, porque ahí suelen estar los datos clave del caso;
• se rehicieron los resúmenes y los vectores sparse para el ámbito jurídico;
• se acortaron los chunks para ajustarse al límite del embedder FRIDA, que recorta todo lo que supere los 512 tokens.

En la fase final, MORAG quedó por detrás del golden submission preparado en el Total general, 0.603 frente a 0.631, pero lo superó en tres de las cinco métricas: precisión de las respuestas deterministas, calidad de las respuestas libres y velocidad. La derrota volvió a venir del Grounding. Es un matiz importante: el propio sistema RAG ya respondía mejor que el patrón de referencia "manual", pero la vinculación técnica de la respuesta con la página correcta seguía rezagada.

Qué significa

La historia muestra que CAG no ha matado al RAG, que un Mac Studio sirve para parte de un pipeline local y que las bases ya hechas de OpenAI y Grok no sustituyen el ajuste a un corpus concreto. Si los datos son complejos, gana no la marca más ruidosa, sino el equipo que sabe medir los errores, controlar el chunking y llevar el Grounding a un estado funcional.