Бенчмарк Learn2Discern: LLM почти не отличают надёжные источники от популярных

Em julho de 2026, pesquisadores publicaram no arXiv um estudo sobre "discernimento de informação" (information discernment) em grandes modelos de linguagem e apresentaram o benchmark Learn2Discern (L2D). Em 13 modelos e quase 670.000 testes, ficou claro: os modelos distinguem fontes confiáveis de não confiáveis praticamente no nível de um chute aleatório.

O que o Learn2Discern avalia

O Learn2Discern avalia duas habilidades do modelo ao trabalhar com dados externos: source discernment — se o modelo confia mais fortemente em uma fonte confiável, e truth discernment — se ele atualiza sua resposta com mais força quando uma nova afirmação o aproxima da verdade. O framework é construído sobre três axiomas normativos com métricas interpretáveis. Segundo os autores, usuários reais compartilham esses princípios: uma pesquisa pré-registrada com amostra por cotas (n=299) mostrou que violá-los reduz a confiança no modelo e a disposição de usá-lo.

Principais resultados

Nas duas dimensões os modelos falham: tanto na confiabilidade da fonte quanto na proximidade com a verdade, os resultados ficam no nível aleatório.

• 13 modelos, quase 670.000 testes (trials)
• Os modelos se apoiam na popularidade da fonte com o dobro da força com que se apoiam na sua confiabilidade
• A resposta é atualizada de forma praticamente igual, não importa se a afirmação aproxima ou afasta da verdade
• Integram melhor o conhecimento externo justamente onde seus próprios priors já são os mais precisos
• Pesquisa com usuários: n=299, amostra por cotas, pré-registro

"Os modelos funcionam quase no nível de um chute aleatório tanto na

confiabilidade da fonte quanto na proximidade com a verdade", diz o resumo do estudo no arXiv.

Por que modelos novos não resolvem

Modelos maiores e mais recentes melhoram apenas o truth discernment, não o source discernment. É um ponto cego que não é corrigido pelo aumento da complexidade do modelo: a capacidade de distinguir uma fonte confiável de uma popular não cresce junto com o tamanho. Pior ainda, segundo o Learn2Discern, os modelos integram o conhecimento externo de forma mais eficaz justamente onde seus próprios priors já são mais precisos — ou seja, ajudam a si mesmos onde menos precisam de ajuda. Ainda assim, os autores encontraram uma boa notícia: intervenções simples no momento da inferência (inference-time) melhoram as duas habilidades ao mesmo tempo, sem necessidade de fine-tuning do modelo.

O que isso significa

À medida que os LLMs substituem a busca tradicional, a capacidade de distinguir uma fonte confiável de uma apenas popular está se tornando uma propriedade crítica de alinhamento (alignment). Por enquanto, a julgar pelos 13 modelos testados, essa habilidade ainda não foi aprendida — e o tamanho do modelo não resolve o problema. Os autores disponibilizaram o dataset e a pesquisa em acesso aberto como banco de testes para essa tarefa.

Perguntas frequentes

O que é o Learn2Discern?

Learn2Discern (L2D) é um framework experimental e um benchmark para avaliar como os LLMs ponderam informações externas: se confiam em fontes confiáveis e se se aproximam da verdade. É construído sobre três axiomas normativos com métricas interpretáveis; os autores disponibilizaram o dataset e a pesquisa para reuso.

Quais modelos foram testados?

O estudo envolveu 13 modelos em quase 670.000 testes. Todos apresentaram discernimento de fonte e de verdade próximo do nível aleatório, e os modelos mais novos e maiores melhoraram apenas o truth discernment, não o source discernment.

Por que isso importa para a busca com IA?

Quando os LLMs substituem os buscadores, são eles mesmos que decidem em qual fonte confiar. Se um modelo se orienta pela popularidade de uma fonte com o dobro da força com que se orienta pela sua confiabilidade, ele corre o risco de reproduzir afirmações amplamente difundidas, porém incorretas.