Rótulo «sem documentos de referência» perdeu precisão de 0,68 para 0,10 com retrievers fortes

Benchmarks de RAG conversacional, como MTRAG e RETECO, avaliam o sistema como um todo: o modelo responde com base nos documentos que ele mesmo recuperou e deve se recusar a responder se a resposta não estiver neles. Para validar uma recusa, é preciso saber se o contexto recuperado é suficiente. Rotular à mão os contextos de todos os sistemas é inviável, e por isso a prática adota uma simplificação: se entre os documentos recuperados não houver nenhum documento de referência (gold) da rotulagem de relevância, o contexto é considerado insuficiente para responder.

O autor de um trabalho de reprodução da escola Letovo, em Moscou, testou essa regra no RECOR (a segunda trilha do RETECO) e mostrou que ela deixa de funcionar à medida que o retriever, o módulo de busca inicial de documentos, melhora. A precisão da regra caiu de 0,68 para 0,10, enquanto o nDCG@10 (métrica de qualidade de ranqueamento nos 10 primeiros resultados) subiu de 0,18 para 0,59.

Como a regra foi testada

O RECOR é formado por diálogos: cada um desdobra uma pergunta do StackExchange ou do BRIGHT em 3–5 turnos curtos, que dependem do contexto. Cada turno tem documentos de referência e uma resposta de referência, gerada pelo GPT-4.1 a partir de fatos atômicos verificados. Os corpora dos domínios têm de 16 mil a 121 mil documentos, incluindo exemplos negativos coletados para cada pergunta. O autor usou 858 turnos da parte dev, extraídos de 211 diálogos.

Primeiro, ele reproduziu com exatidão os baselines oficiais de BM25: os valores coincidiram com os publicados até a quarta casa decimal nos 11 domínios (nDCG@10 médio macro no dev: 0,183 e 0,438). Em seguida, montou uma «escada» de quatro retrievers: BM25 sobre o turno atual, BM25 com o histórico do diálogo, Fusion (fusão de execuções de BM25 com três expansões de consulta geradas por LLM) e um híbrido com o retriever denso reason-embed-qwen3-4b. O nDCG@10 deles no dev é 0,183, 0,438, 0,550 e 0,591, e a parcela de turnos com ao menos um documento de referência no top-5 é 0,28, 0,65, 0,77 e 0,82.

O conteúdo de cada contexto foi avaliado por dois LLMs abertos atuando como juízes e por um painel de quatro modelos pequenos: Qwen3-4B-Instruct-2507, Phi-4-mini-instruct, SmolLM3-3B e Granite-3.3-8B-instruct. Além disso, o Claude Opus 5.5 rotulou às cegas 250 contextos, sem ver o retriever nem o rótulo do qrels. Duas execuções dele coincidiram em 97% dos casos, e uma terceira execução decidiu os exemplos divergentes. As respostas foram geradas pelos modelos Qwen3-1.7B, Qwen3-4B-Instruct-2507 e Qwen3-8B.

Quanto mais forte o retriever, mais a regra erra

Entre os contextos sem gold, a parcela dos que ainda assim contêm a resposta subiu de 28% para 72%. A precisão da regra como detector de contexto insuficiente caiu de 0,68 para 0,10 e, na auditoria às cegas, de 0,70 para 0,21. A causa é a rotulagem incompleta.

Na maioria das vezes, a resposta está em um negativo difícil coletado para a mesma pergunta, no documento de referência de outro turno ou em um trecho vizinho da página de referência. No exemplo sobre glicosímetros, o documento recuperado explica que a enzima glicose oxidase é específica apenas para a D-glicose. Mas, no qrels, ele está marcado como negativo, e a busca não retornou o documento gold verdadeiro com esse mesmo trecho.

Os resultados são sustentados por verificações independentes: a contagem de cópias de documentos gold sem participação dos juízes, a auditoria às cegas, o controle negativo, as avaliações humanas no MTRAG e as respostas do próprio modelo. O Qwen3-4B responde corretamente a 62–67% desses falsos erros de recuperação, a 23–30% dos contextos que os juízes consideraram insuficientes e a 1% dos turnos sem documentos. Os quatro juízes pequenos reproduzem a queda, mas avaliam de forma mais branda que os grandes.

O que muda na avaliação de recusas

A escolha do rótulo pode inverter as conclusões. Quando a avaliação se baseia na presença de gold, o AUROC da detecção de respondibilidade aparece subestimado, chegando a apenas 0,19, e o melhor detector de suficiência parece ser a pontuação do retriever, que nem sequer lê os documentos. No MTRAG, em que a rotulagem foi feita por anotadores e não há negativos coletados, a precisão da regra cai de 0,72 para 0,50. Ou seja, o efeito não se limita ao RECOR.

Há também ressalvas. As expansões de consulta para o Fusion e para o híbrido foram geradas por um modelo fechado, o Claude Sonnet 5. Ao refazer o processo com um modelo aberto, as passagens Query2doc com BM25 dão 0,453 em vez de 0,546. A concordância de 97% entre as duas execuções do auditor reflete a autoconsistência de um único modelo, e não a concordância entre anotadores independentes.

A recomendação prática do autor: ao comparar retrievers de forças diferentes, validar a recusa pelo rótulo de conteúdo de cada contexto, e não pela presença de gold. Do contrário, um retriever forte parece pior, e um modelo que se recusa a responder mesmo com a resposta nos documentos ganha ponto. O código, as execuções e os rótulos estão publicados no repositório reteco-2026.