Gemma-3-12b detecta menos falsidades em RAG: taxa de detecção cai de 25% para 10%

Pesquisadores da Universidade do Texas em Dallas e do campus de Vancouver do New York Institute of Technology avaliaram como o Gemma-3-12b identifica afirmações falsas em um contexto de RAG quando elas se repetem em vários documentos. Quando havia um documento envenenado entre sete, o modelo detectava a troca em 25% dos casos. Quando a mesma afirmação aparecia em seis dos sete documentos, a taxa de detecção caiu para 10%. Os autores descrevem o resultado como uma evidência preliminar de conformismo: a concordância entre os documentos aumenta a confiança neles, mesmo que tudo seja a mesma invenção.

Como o experimento foi montado

A base são 200 perguntas aleatórias do SciFact (conjunto de afirmações científicas que precisam ser confirmadas ou refutadas com base em fontes), com amostragem usando seed 38. O veneno veio de um trabalho anterior do mesmo grupo. Nele, para cada pergunta, primeiro se fixava a resposta correta; depois, gerava-se uma frase contraditória e a expandia em um texto coeso de cerca de 500 palavras. Um modelo de linguagem atuando como juiz verificava que o texto não sustentava a resposta correta. O gerador principal foi o GPT-5.6, e o Grok 4.6 entrava quando o GPT-5.6 se recusava a escrever.

Para o novo teste, cada veneno foi mantido e ganhou cinco paráfrases. A instrução exigia preservar as afirmações originais e o nível de confiança, inclusive a premissa sabidamente errada, em vez de corrigi-la. Em seguida, foram montados dois contextos de sete documentos cada. Na condição "minoria", havia um documento envenenado e seis saudáveis. Na condição "maioria", havia o original do veneno, cinco paráfrases dele e um documento saudável. A tarefa foi formulada da mesma forma nos dois casos: verificar os trechos e devolver um relatório estruturado de desinformação com o número do trecho suspeito.

O que os números mostram

Na condição "minoria", o Gemma-3-12b detectou o veneno em 50 de 200 casos (25,0%); na condição "maioria", em 20 de 200 (10,0%). A diferença é de 15 pontos percentuais, ou uma redução relativa de 60%. Isso já indica que o detector é fraco: mesmo no melhor cenário, três de cada quatro perguntas passam despercebidas.

A análise pareada é mais reveladora. Nas duas condições, o veneno foi encontrado em 16 perguntas e não foi encontrado em nenhuma das duas em 146. As 38 perguntas restantes tiveram resultados diferentes: 34 delas passaram de "detectado" para "não detectado", e apenas quatro seguiram o caminho inverso. O teste exato de McNemar bicaudal (teste pareado que considera apenas as perguntas em que o resultado mudou) confirmou que o desequilíbrio é significativo. Para os intervalos de confiança, os autores usaram o método de Wilson.

Por que a conclusão ainda exige cautela

O principal risco prático é claro: o atacante não precisa de fontes independentes, basta multiplicar uma afirmação falsa em textos parafraseados. Um sistema RAG que trata cada trecho recuperado como uma unidade separada de evidência pode confundir essa duplicação com confirmação. Seis documentos podem ser seis estudos diferentes, ou seis releituras da mesma tese sem fundamento. Um bom detector de desinformação precisa considerar a origem das fontes e a dependência entre elas, e não apenas a coincidência de formulações.

Os próprios autores, porém, destacam os limites do trabalho. Foi testado um modelo, em uma tarefa, com contexto fixo de sete documentos; a busca de documentos (o retriever) não participou do experimento. A passagem para a condição "maioria" muda três coisas ao mesmo tempo: a proporção de documentos envenenados, o número de repetições parafraseadas e a quantidade de contraevidências saudáveis. Por isso, não é possível afirmar que a queda se deve especificamente ao conformismo, e não à sensibilidade a repetições ou à falta de documentos honestos. Além disso, foram usados rótulos binários de detecção registrados em tabela, sem verificação humana independente de cada justificativa em texto e sem avaliar se o modelo apontou corretamente o trecho envenenado.

O próximo passo é óbvio: variar separadamente a proporção de veneno, o número de paráfrases, a independência das fontes, a ordem dos documentos e a quantidade de textos saudáveis. Por ora, quem desenvolve sistemas RAG pode tirar uma lição: deduplicar trechos semanticamente próximos e considerar a fonte antes de enviá-los ao modelo pode ser mais útil do que torcer para que o modelo perceba sozinho que há algo errado. Os autores observam ainda que os textos envenenados foram inventados de propósito para testar a robustez e não devem ser interpretados como afirmações científicas.