Mycelium: pesquisadores decompõem benchmarks de alucinações em três eixos

Detectores de alucinações em LLMs costumam ser comparados por um único número em um único benchmark. No meta-estudo Mycelium (arXiv 2610.33608, publicado em 24 de outubro de 2026), Julia Belikova e Elisei Rykov mostram por que esse número diz menos do que parece. Os benchmarks definem alucinação de formas diferentes, obtêm os textos dos modelos por métodos diferentes e anotam erros em níveis diferentes. Os autores propõem tratar a detecção como uma tarefa de medição que depende das condições do benchmark, e introduzem uma nova métrica: Span Coverage F1.

Um termo, muitas tarefas diferentes

Alucinações são importantes para avaliar e implantar grandes modelos de linguagem: a confiabilidade com que são detectadas afeta sistemas RAG, assistentes e pipelines corporativos. Novos detectores costumam vir acompanhados de uma tabela de resultados em vários conjuntos de dados. Mas se um conjunto anota erros factuais sem contexto e outro verifica a fidelidade da resposta a uma fonte específica, são duas tarefas diferentes com o mesmo nome. Uma pontuação alta na primeira quase não garante nada sobre a segunda.

O Mycelium analisa como as escolhas feitas na construção do benchmark, na anotação e na avaliação moldam a tarefa de predição resultante. Em seguida, os autores confrontam os mecanismos e as premissas dos próprios detectores com as condições em que foram efetivamente medidos.

Três eixos para classificar os benchmarks

Os autores classificam todos os benchmarks existentes segundo três dimensões:

• Provenance (origem): como as saídas do modelo foram obtidas e as condições das evidências, ou seja, de onde vêm os textos e em quais evidências a verificação se baseia.
• Typology (tipologia): quais falhas de factualidade (factuality) e de fidelidade à fonte (faithfulness) estão refletidas nos rótulos do benchmark.
• Granularity (granularidade): em que nível as alucinações são anotadas, previstas e avaliadas. Pode ser a resposta inteira, uma frase ou um trecho específico de texto.

Posições diferentes nesses eixos mudam a própria definição da tarefa. Por isso, concluem os autores, as comparações entre benchmarks têm limites claros, e a generalização de um detector para outras condições precisa ser testada explicitamente, não assumida.

Span Coverage F1: quando os limites da anotação decidem tudo

Uma seção separada é dedicada à avaliação em nível de spans, ou seja, trechos de texto marcados como alucinação. Aqui, o resultado depende fortemente de onde exatamente o anotador traçou os limites. Um benchmark marca um sintagma nominal curto; outro, a frase inteira. Um detector que identifica o mesmo erro vai receber pontuações diferentes dependendo de quanto esses limites coincidem.

Como complemento às métricas existentes, os autores propõem o Span Coverage F1. Ele se baseia em contenção (containment): verifica se o trecho previsto cobre o trecho anotado, e não apenas o grau de sobreposição exata. A métrica foi pensada como complementar — não substitui os indicadores tradicionais, mas ajuda a separar a qualidade real da detecção dos artefatos da anotação.

Como interpretar as pontuações dos detectores

Conclusão prática para equipes que escolhem ou treinam detectores:

• Antes de comparar duas pontuações, verifique se os benchmarks coincidem na origem dos dados, nos tipos de erro e no nível de anotação. Se não coincidirem, os números estão medindo coisas diferentes.
• Para produção, escolha o benchmark mais próximo do seu cenário real. Em RAG, a fidelidade à fonte é o que importa; em perguntas abertas, importa a factualidade sem contexto.
• Se o detector funciona em nível de spans, veja como os limites são definidos na anotação e acrescente uma métrica baseada em contenção, como o Span Coverage F1.
• Teste a generalização: execute o detector em benchmarks com condições diferentes e reporte a dispersão dos resultados, não um único número.

O código e os materiais da pesquisa estão disponíveis no repositório lmeribal/mycelium no GitHub. Os autores pedem feedback e discussão: o trabalho foi concebido como base para comparações mais honestas em uma área em que um número numa tabela, muitas vezes, pesa mais do que o contexto em que foi obtido.