Gemma-3-12b detecta peor las mentiras en RAG: la tasa de detección cae del 25% al 10%

Investigadores de la Universidad de Texas en Dallas y del campus de Vancouver del New York Institute of Technology evaluaron cómo detecta Gemma-3-12b las afirmaciones falsas en un contexto RAG cuando estas se repiten en varios documentos. Cuando solo uno de los siete documentos estaba envenenado, el modelo detectó la sustitución en el 25% de los casos. Cuando la misma afirmación aparecía en seis de los siete documentos, la tasa de detección cayó al 10%. Los autores describen el resultado como una evidencia preliminar de conformismo: la coincidencia entre documentos aumenta la confianza en ellos, aunque todos sean la misma invención.

Cómo se montó el experimento

La base son 200 preguntas aleatorias de SciFact (un conjunto de afirmaciones científicas que hay que confirmar o refutar a partir de fuentes), con una semilla de muestreo de 38. El veneno procede de un trabajo anterior del mismo grupo. En ese estudio, para cada pregunta se fijaba primero la respuesta correcta, después se generaba una frase que la contradecía y se desarrollaba hasta formar un texto coherente de unas 500 palabras. Un modelo de lenguaje actuaba como juez y comprobaba que el texto no respaldara la respuesta correcta. El generador principal fue GPT-5.6, y se recurrió a Grok 4.6 cuando GPT-5.6 se negaba a escribir.

Para la nueva prueba se conservó cada veneno y se crearon cinco paráfrasis de cada uno. Las instrucciones exigían mantener las afirmaciones originales y el nivel de seguridad con que se expresaban, incluida la premisa claramente errónea, en lugar de corregirla. Con ese material se armaron dos contextos de siete documentos. En el de «minoría» había un documento envenenado y seis sanos. En el de «mayoría», el veneno original, cinco de sus paráfrasis y un documento sano. La tarea se formuló igual en ambos casos: revisar los fragmentos y devolver un informe estructurado de desinformación con el número del fragmento sospechoso.

Qué muestran las cifras

En la condición de «minoría», Gemma-3-12b detectó el veneno en 50 de 200 casos (25,0%); en la de «mayoría», en 20 de 200 (10,0%). La diferencia es de 15 puntos porcentuales, o una reducción relativa del 60%. Ya de por sí indica que el detector es débil: incluso en el mejor escenario, tres de cada cuatro preguntas pasan sin ser detectadas.

El análisis por pares es más revelador. En ambas condiciones se detectó el veneno en 16 preguntas, y en 146 no se detectó en ninguna de las dos. Las otras 38 preguntas tuvieron resultados distintos: 34 pasaron de «detectado» a «no detectado» y solo cuatro hicieron el recorrido inverso. La prueba exacta de McNemar de dos colas (una prueba pareada que solo considera las preguntas cuyo resultado cambió) confirmó que ese desequilibrio es significativo. Para los intervalos de confianza, los autores usaron el método de Wilson.

Por qué la conclusión es, por ahora, cautelosa

El principal riesgo práctico es evidente: un atacante no necesita fuentes independientes, le basta con multiplicar una misma afirmación falsa en textos parafraseados. Un sistema RAG que trate cada fragmento recuperado como una unidad de evidencia independiente puede confundir esa duplicación con una confirmación. Seis documentos pueden ser seis estudios distintos, o seis refritos de una misma tesis sin fundamento. Un buen detector de desinformación debería tener en cuenta el origen de las fuentes y la dependencia entre ellas, y no solo la coincidencia de formulaciones.

Pero los propios autores subrayan los límites del trabajo. Se probó un solo modelo en una sola tarea, con un contexto fijo de siete documentos; el recuperador de documentos (retriever) no participó en absoluto en el experimento. El paso a la «mayoría» cambia tres cosas a la vez: la proporción de documentos envenenados, el número de repeticiones parafraseadas y la cantidad de contraevidencia sana.

Por eso no se puede afirmar que la caída se deba específicamente al conformismo y no a la sensibilidad a las repeticiones o a la escasez de documentos honestos. Además, se usaron las etiquetas binarias de detección registradas en la tabla, sin una revisión humana independiente de cada justificación textual y sin evaluar si el modelo señaló correctamente el fragmento envenenado.

El siguiente paso es obvio: variar por separado la proporción de veneno, el número de paráfrasis, la independencia de las fuentes, el orden de los documentos y la cantidad de textos sanos. Mientras tanto, los desarrolladores de RAG pueden quedarse con una conclusión: deduplicar los fragmentos semánticamente próximos y tener en cuenta la fuente antes de pasarlos al modelo puede ser más útil que confiar en que el propio modelo note el engaño. Los autores señalan expresamente que los textos envenenados se inventaron a propósito para probar la robustez del modelo y no deben interpretarse como afirmaciones científicas.