Mycelium: pesquisadores organizam os benchmarks de alucinação em três eixos

É comum comparar detectores de alucinações de LLMs por um único número em um único benchmark. No metaestudo Mycelium (arXiv 2610.33608, publicado em 24 de outubro de 2026), Julia Belikova e Elisei Rykov mostram por que esse número diz menos do que parece. Os benchmarks definem alucinação de formas diferentes, obtêm os textos dos modelos por métodos diferentes e anotam os erros em níveis diferentes. Os autores propõem tratar a detecção como um problema de medição, que depende das condições do benchmark, e introduzem uma nova métrica, a Span Coverage F1.

Um termo, várias tarefas diferentes

As alucinações são um ponto central na avaliação e na adoção de grandes modelos de linguagem: sistemas de RAG, assistentes e pipelines corporativos dependem da confiabilidade com que elas são detectadas. Novos detectores costumam chegar acompanhados de uma tabela de resultados em vários conjuntos de dados. Mas, se um conjunto anota erros factuais sem contexto e outro verifica a fidelidade da resposta a uma fonte fornecida, são duas tarefas distintas com o mesmo nome. Uma pontuação alta na primeira quase não diz nada sobre a segunda.

O Mycelium examina como as escolhas feitas na criação, na anotação e na avaliação de um benchmark moldam a tarefa de predição final. Em seguida, os autores confrontam os mecanismos e as premissas dos próprios detectores com as condições em que eles foram medidos.

Três eixos de classificação dos benchmarks

Os autores distribuem todos os benchmarks existentes em três dimensões:

• Provenance (origem): como as saídas do modelo são obtidas e quais são as condições de evidência, ou seja, de onde vêm os textos e em que provas a verificação se apoia.
• Typology (tipologia): quais falhas de factualidade (factuality) e de fidelidade à fonte (faithfulness) estão representadas nos rótulos do benchmark.
• Granularity (granularidade): em que nível as alucinações são anotadas, previstas e avaliadas. Pode ser a resposta inteira, a frase ou um trecho específico do texto.

Pontos diferentes nesses eixos mudam a própria formulação da tarefa. Por isso, segundo a conclusão dos autores, as comparações entre benchmarks têm limitações, e a generalização de um detector para outras condições precisa ser avaliada explicitamente, não presumida.

Span

Coverage F1: quando as fronteiras da anotação decidem tudo

Uma seção à parte trata da avaliação no nível de spans, isto é, dos trechos de texto marcados como alucinação. Nesse caso, o resultado depende muito de onde o anotador traçou as fronteiras. Um benchmark marca um sintagma nominal curto; outro marca a frase inteira. Um detector que encontrou o mesmo erro recebe pontuações diferentes, conforme as fronteiras coincidam ou não.

Como complemento às métricas existentes, os autores propõem a Span Coverage F1. Ela se baseia na inclusão (containment): considera se o trecho previsto cobre o trecho anotado, e não apenas o grau de sobreposição exata. A métrica foi pensada como complementar. Ela não substitui os indicadores habituais, mas ajuda a separar a qualidade real da detecção dos artefatos da anotação.

Como ler as pontuações dos detectores

O que isso significa na prática para equipes que escolhem ou treinam detectores:

• Antes de comparar duas pontuações, verifique se os benchmarks coincidem em origem dos dados, tipos de erro e nível de anotação. Se não coincidem, os números medem coisas diferentes.
• Para produção, escolha o benchmark mais próximo do seu cenário. Em RAG, importa a fidelidade à fonte; em perguntas abertas, a factualidade sem contexto.
• Se o detector trabalha no nível de spans, observe como as fronteiras são definidas na anotação e adicione uma métrica baseada em inclusão, como a Span Coverage F1.
• Teste a generalização: rode o detector em benchmarks com condições diferentes e reporte a variação, em vez de um único número.

O código e os materiais da pesquisa estão no repositório lmeribal/mycelium, no GitHub. Os autores pedem feedback e discussão: o trabalho foi concebido como base para comparações mais honestas em uma área onde o número na tabela costuma pesar mais do que o contexto em que foi obtido.