Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoPesos abertos · Pronto p/ usoHugging Face Daily Papers→ original

Por que RAG e prompts longos "emburrecem": um único fato conflitante derruba a precisão de LLMs pequenos de 97% para 11%

Pesquisadores da Universidade da Califórnia em San Diego (UCSD) testaram cinco modelos abertos de 0,5 a 3 bilhões de parâmetros na extração de fatos de contextos de até 32K tokens. O ruído de fundo comum no prompt quase não atrapalha: no Qwen2.5-1.5B, a precisão se mantém entre 97% e 100%. Mas basta incluir no contexto um único fato conflitante no mesmo formato (por exemplo, um valor desatualizado do mesmo campo, vindo de um banco de dados ou de um chat) para a precisão despencar para 11–21%. A conclusão prática para quem desenvolve RAG: antes de enviar os chunks a um modelo compacto, é preciso deduplicar versões contraditórias de um mesmo fato.

Processado por IA de Hugging Face Daily Papers; editado por Hamidun News
Por que RAG e prompts longos "emburrecem": um único fato conflitante derruba a precisão de LLMs pequenos de 97% para 11%
Fonte: Hugging Face Daily Papers. Colagem: Hamidun News.
Ouvir artigo

Costuma-se achar que redes neurais se perdem em documentos longos simplesmente porque há texto demais. Pesquisadores da Universidade da Califórnia em San Diego testaram essa hipótese em uma tarefa de busca de fato no contexto e chegaram a outra resposta. Imagine um sistema RAG cujo prompt recebeu duas versões de uma mesma configuração: a antiga e a nova, com valores diferentes para o mesmo parâmetro.

São registros assim, e não os milhares de tokens em si, que estragam a resposta. Enquanto o contexto de até 32 mil tokens é preenchido com texto neutro, o Qwen2.5-1.

5B acerta em 97–100% dos casos. Quando esses mesmos espaços são ocupados por registros no formato do fato procurado, a precisão cai para 11–21%. Conclusão prática: antes de enviar ao prompt, vale limpar duplicatas conflitantes, e não apenas encurtar o documento.

Como o experimento foi montado

A tarefa é propositalmente simples. Uma única linha, como "o código secreto do rio é 4821", é escondida em um texto longo, e no final pergunta-se qual é o código do rio. A linha fica em profundidade aleatória, e o tamanho do contexto varia de 512 a 32 mil tokens. O teste foi executado em cinco modelos abertos de 0,5 a 3 bilhões de parâmetros, de quatro famílias, incluindo Qwen2.5, Llama-3.2, SmolLM2 e OLMo-2.

A regra central do desenho experimental: o tamanho e a posição da linha-alvo são sempre os mesmos; muda apenas o que a cerca. Em uma variante, são números aleatórios, palavras aleatórias ou uma única frase repetida. Em outra, registros no modelo da linha-alvo, com chaves tiradas de um conjunto de 51 substantivos. Há ainda uma terceira variante: o mesmo texto neutro é ocultado da atenção do modelo, mas as posições dos tokens são mantidas.

O que as medições mostraram

No texto neutro, a precisão fica em 97–100% em quatro dos cinco modelos: até 4 mil tokens em todos os quatro e até 32 mil no Qwen2.5-1.5B. A exceção é o OLMo-2-1B: com 2048 tokens de texto neutro, ele perde 0,57 nat (precisão de 91%). O nat, aqui, é a unidade de perda sobre a probabilidade da resposta correta: quanto maior, pior.

Registros no formato da linha-alvo, com 8 a 32 mil tokens, derrubam a precisão para 11–21%. O caso mais nocivo é o registro com a mesma chave e outro valor. Um único registro desses aumenta a perda do modelo de 9 a 110 vezes, e cada registro adicional piora ainda mais. Comparação no Qwen2.5-1.5B com 32 mil tokens: o texto neutro custa 0,004 nat, o texto neutro ocultado custa 1,20 nat e os registros concorrentes custam 4,76 nats. A perda mediana com concorrentes nesse modelo é de 2,82, 3,94, 4,03 e 4,76 nats com 8, 16, 24 e 32 mil tokens.

Dentro do modelo, os autores acompanharam uma grandeza: a fatia da atenção que permanece na linha-alvo. Ela foi calculada a partir das oito cabeças de atenção que mais olham para essa linha, a partir do último token da consulta. Em 126.473 execuções, essa fatia explica de 35% a 58% da variação da perda, enquanto o logaritmo do tamanho do contexto explica apenas 2–8%. A diferença se mantém em comprimentos de 8 a 32 mil tokens. Em resumo: registros parecidos tiram atenção do registro correto, e é isso que coincide com os erros.

Por que a ideia de que "o comprimento prejudica por si só" não se confirmou

Trabalhos anteriores ocultavam tokens extras da atenção mantendo as posições, observavam a queda de precisão e concluíam que o comprimento prejudica. Os autores reproduziram isso em 1000 perguntas do MMLU com Llama-3.2-3B e Qwen2.5-7B-Instruct: com 30 mil tokens ocultos, a perda foi de 11–18 pontos. Mas, na tarefa de busca, a mesma máscara custa 46 pontos de precisão com 32 mil tokens, enquanto o mesmo texto deixado visível não custa nada. Ou seja, esse protocolo não mede o custo puro do comprimento.

O que fazer com isso

Na prática, importa menos o número de tokens e mais o número de afirmações que contradizem a resposta correta. Versões antigas de contratos, rascunhos e logs duplicados com outros valores são os vizinhos mais perigosos para o trecho procurado. Os autores também publicaram o código, a ferramenta de medição de atenção e todas as 126 mil medições no GitHub e no Hugging Face, de modo que, em modelos abertos, é possível verificar por conta própria a fatia de atenção sobre o trecho-alvo.

Há também limitações. Os modelos são pequenos, de 0,5 a 3 bilhões de parâmetros, e a tarefa é uma simples busca de valor por chave, não documentos corporativos reais. A relação entre atenção e erros foi obtida por estatística das execuções. Por isso, a conclusão vale especificamente para a busca de fatos em contexto longo, e não para todas as tarefas com entradas longas.

História

Perguntas frequentes sobre a notícia

Como o experimento foi montado?

A tarefa é propositalmente simples. Uma única linha, como "o código secreto do rio é 4821", é escondida em um texto longo, e no final pergunta-se qual é o código do rio. A linha fica em profundidade aleatória, e o tamanho do contexto varia de 512 a 32 mil tokens. O teste foi executado em cinco modelos abertos de 0,5 a 3 bilhões de parâmetros, de quatro famílias, incluindo Qwen2.5, Llama-3.2, SmolLM2 e OLMo-2.

O que as medições mostraram?

No texto neutro, a precisão fica em 97–100% em quatro dos cinco modelos: até 4 mil tokens em todos os quatro e até 32 mil no Qwen2.5-1.5B. A exceção é o OLMo-2-1B: com 2048 tokens de texto neutro, ele perde 0,57 nat (precisão de 91%). O nat, aqui, é a unidade de perda sobre a probabilidade da resposta correta: quanto maior, pior. Registros no formato da linha-alvo, com 8 a 32 mil tokens, derrubam a precisão para 11–21%. O caso mais nocivo é o registro com a mesma chave e outro valor.

Por que a ideia de que "o comprimento prejudica por si só" não se confirmou?

Trabalhos anteriores ocultavam tokens extras da atenção mantendo as posições, observavam a queda de precisão e concluíam que o comprimento prejudica. Os autores reproduziram isso em 1000 perguntas do MMLU com Llama-3.2-3B e Qwen2.5-7B-Instruct: com 30 mil tokens ocultos, a perda foi de 11–18 pontos. Mas, na tarefa de busca, a mesma máscara custa 46 pontos de precisão com 32 mil tokens, enquanto o mesmo texto deixado visível não custa nada. Ou seja, esse protocolo não mede o custo puro do comprimento.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…