BILAL-Bench: seis de sete modelos abertos inventam fontes com confiança em 79–95% dos casos

Quando um modelo de linguagem inventa um versículo do Alcorão ou um hadith (relato das palavras e ações do profeta Maomé), ele dá à invenção a autoridade de um texto sagrado. Uma equipe da Universidade Islâmica de Tecnologia mediu a dimensão do problema em bengali. O benchmark BILAL-Bench reúne 240 perguntas verificadas por um especialista em ciências islâmicas. Sete modelos abertos geraram 1 680 respostas, e seis dos sete inventam fontes com confiança em 79,3–95,3% dos casos em que a pergunta exige uma referência concreta. Apenas 40 das 1 680 respostas foram ao mesmo tempo corretas e corretamente sustentadas por uma fonte.

Como o teste funciona

As perguntas foram escritas diretamente em bengali, sem tradução. Elas se dividem em cinco categorias: atribuição de versículos do Alcorão, hadiths, fiqh (normas do direito religioso), questões contemporâneas sem resposta única e consultas adversariais com premissa falsa. As respostas de referência vieram da tradução bengali do Alcorão da Fundação Islâmica de Bangladesh, de edições em bengali das seis coletâneas canônicas de hadiths e de portais de fatwas. Um especialista qualificado conferiu todo o material. No fiqh, o padrão adotado foi a posição hanafita. Os autores destacam que se trata de uma decisão de projeto, e não de uma afirmação de que as demais escolas estejam erradas.

A anotação tem dois eixos. O primeiro registra o tipo de erro de fonte: invenção completa, atribuição incorreta, afirmação não confirmada, recusa adequada ou correção da premissa falsa. O segundo indica se a resposta soa confiante ou cheia de ressalvas. A métrica principal é a proporção de invenções confiantes entre todas as respostas, e as respostas sem nenhuma afirmação continuam no denominador. Dois falantes nativos de bengali com formação na área anotaram todas as respostas às cegas. O kappa de Cohen (concordância entre anotadores) foi de 0,864 em oito classes e de 0,893 após o agrupamento das classes.

Os modelos receberam uma única instrução neutra, sem mensagem de sistema, sem exemplos e sem qualquer pedido para serem mais cautelosos. A geração usou decodificação gulosa, com limite de 512 tokens. Entraram no teste TigerLLM-1B-it, TituLM-gemma-2-2b, Gemma-2-9B-it, GPT-OSS-120B e três variantes do BanglaLLaMA: 3.2-3B-instruct, 3.1-8B-instruct e 3.1-8B-no-pretrain.

Tamanho não salva, e os hadiths vão pior

Nas categorias que exigem referência, o GPT-OSS-120B fabrica com confiança em 93,3% das respostas, e o BanglaLLaMA-3.2-3B-instruct, quarenta vezes menor, em 90,0%. Os intervalos de confiança se sobrepõem. O menor índice entre os seis é o do TituLM-gemma-2-2b: 79,3%. O TigerLLM-1B-it tem, formalmente, um resultado melhor, 63,3%, mas 43 de suas 150 respostas não contêm nenhuma afirmação, e o modelo não tem nenhuma resposta corretamente sustentada por uma fonte. A baixa fabricação aqui reflete silêncio, e não precisão.

Os modelos têm mais dificuldade com a origem dos hadiths. De 315 respostas, apenas duas são corretas e bem sustentadas por uma fonte. Três modelos inventam a fonte em todas as respostas dessa categoria, e a menor taxa de fabricação entre todos é de 88,9%. O GPT-OSS-120B chegou a 100%.

O perfil dos erros também varia. O GPT-OSS-120B tem 166 casos de invenção explícita e apenas um de afirmação não confirmada. O TituLM-gemma-2-2b tem 16 invenções, mas 90 afirmações não confirmadas. Os dois quadros são ruins, mas uma referência precisa a uma fonte inexistente é especialmente perigosa: o leitor tem o que procurar e em que acreditar. Das 1 320 respostas com erros de fonte, 1 316 (99,7%) soam confiantes, ou seja, ressalvas quase não aparecem.

Onde os modelos de fato diferem

As duas versões do BanglaLLaMA de 8B diferem apenas em ter passado ou não por pré-treinamento adicional em bengali. Suas taxas de fabricação confiante são próximas: 83,3% e 86,7%. A composição dos erros é diferente: a versão com o treinamento adicional tem 93 invenções e 8 atribuições incorretas, e a versão sem ele, 84 e 17.

A maior diferença entre os modelos está na contenção. Diante de premissas falsas, o Gemma-2-9B-it fabrica em 40,0% dos casos, e o GPT-OSS-120B, em 91,1%. O número de recusas ou correções adequadas em todo o benchmark vai de 6, no GPT-OSS-120B, a 46, no Gemma-2-9B-it. Não há relação com o número de parâmetros.

A conclusão prática dos autores é que o tamanho não reduz a fabricação, então vale buscar outras alavancas: recuperação de informação (retrieval) a partir de coletâneas verificadas em bengali, treinamento para a recusa consciente e verificação automática de que a coletânea, o transmissor e o número do hadith indicados realmente existem. Os autores apontam justamente os hadiths como o ponto mais crítico para novos experimentos.

As limitações também são relevantes. O benchmark tem 240 perguntas em um único idioma, uma instrução neutra, decodificação gulosa e um padrão hanafita no fiqh, de modo que os resultados não podem ser transferidos para outras escolas, idiomas e famílias de modelos. A variação na abstenção precisa ser verificada com mais modelos e mais estilos de consulta. O próprio BILAL-Bench é uma ferramenta de avaliação, não uma fonte de prescrições religiosas, e os autores advertem explicitamente contra o uso dos modelos abertos atuais em questões religiosas, inclusive na busca por fatwas. O código e os dados foram publicados no GitHub, no repositório BILAL-Bench.