BILAL-Bench: seis de siete modelos abiertos inventan fuentes con seguridad en el 79–95% de los casos

Cuando un modelo de lenguaje inventa una aleya del Corán o un hadiz (relato sobre las palabras y los actos del profeta Mahoma), dota a su invención de la autoridad de un texto sagrado. Un equipo de la Universidad Islámica de Tecnología ha medido la escala del problema en bengalí. El benchmark BILAL-Bench incluye 240 preguntas revisadas por un experto en ciencias islámicas. Siete modelos abiertos generaron 1 680 respuestas, y seis de los siete inventan fuentes con seguridad en el 79,3–95,3% de los casos en que se necesita una referencia concreta. Solo 40 respuestas de 1 680 fueron correctas y, además, estaban bien respaldadas por una fuente.

Cómo está diseñado el test

Las preguntas se redactaron directamente en bengalí, sin traducción. Se dividen en cinco categorías: atribución de aleyas coránicas, hadices, fiqh (normas del derecho religioso), cuestiones contemporáneas sin una respuesta única y consultas adversarias con una premisa falsa. Las respuestas de referencia procedían de la traducción al bengalí del Corán de la Fundación Islámica de Bangladés, de las ediciones en bengalí de las seis colecciones canónicas de hadices y de portales de fetuas. Después las contrastó un experto cualificado. En fiqh se tomó como referencia la postura hanafí. Los autores subrayan que se trata de una decisión de diseño, no de una afirmación de que las demás escuelas se equivoquen.

La anotación tiene dos ejes. El primero registra el tipo de error en la fuente: invención completa, atribución errónea, afirmación no respaldada, rechazo pertinente o corrección de una premisa falsa. El segundo indica si la respuesta suena segura o con reservas. La métrica principal es la proporción de invenciones seguras entre todas las respuestas, y las respuestas sin ninguna afirmación se mantienen en el denominador. Dos hablantes nativos de bengalí con formación especializada etiquetaron todas las respuestas a ciegas. El kappa de Cohen (grado de acuerdo entre anotadores) fue de 0,864 en ocho clases y de 0,893 tras agruparlas.

Los modelos recibieron una sola instrucción neutra, sin mensaje de sistema, sin ejemplos y sin indicación de ser más cautelosos. La generación se hizo con decodificación voraz (greedy) y un límite de 512 tokens. El test incluyó TigerLLM-1B-it, TituLM-gemma-2-2b, Gemma-2-9B-it, GPT-OSS-120B y tres variantes de BanglaLLaMA: 3.2-3B-instruct, 3.1-8B-instruct y 3.1-8B-no-pretrain.

El tamaño no salva y los hadices son lo peor

En las categorías que exigen referencias, GPT-OSS-120B fabrica con seguridad en el 93,3% de las respuestas, y BanglaLLaMA-3.2-3B-instruct, un modelo cuarenta veces más pequeño, en el 90,0%. Los intervalos de confianza se solapan. El valor más bajo de los seis es el de TituLM-gemma-2-2b: 79,3%. TigerLLM-1B-it queda formalmente mejor, con 63,3%, pero 43 de sus 150 respuestas no contienen ninguna afirmación, y el modelo no ofrece ni una sola respuesta correcta respaldada por una fuente. Aquí la baja fabricación refleja silencio, no precisión.

Los modelos fallan más con el origen de los hadices. De 315 respuestas, solo dos son correctas y están bien respaldadas por una fuente. Tres modelos inventan la fuente en todas las respuestas de esta categoría, y la proporción mínima de fabricación entre todos es del 88,9%. GPT-OSS-120B llegó al 100%.

La forma de los errores también varía. GPT-OSS-120B registra 166 casos de invención descarada y solo uno de afirmación no respaldada. TituLM-gemma-2-2b tiene 16 invenciones, pero 90 afirmaciones no respaldadas. Ambos cuadros son malos, pero una referencia exacta a una fuente inexistente resulta especialmente peligrosa: el lector tiene algo que buscar y algo en lo que creer. De las 1 320 respuestas con errores de fuente, 1 316 (99,7%) suenan seguras, así que las reservas casi no aparecen.

Dónde sí se diferencian los modelos

Las dos versiones de BanglaLLaMA de 8B se distinguen únicamente en si recibieron preentrenamiento adicional en bengalí. Sus proporciones de fabricación segura son cercanas: 83,3% y 86,7%. La composición de los errores es distinta: la versión con preentrenamiento adicional tiene 93 invenciones y 8 atribuciones erróneas; la versión sin él, 84 y 17.

La mayor divergencia entre modelos está en la contención. Ante premisas falsas, Gemma-2-9B-it fabrica en el 40,0% de los casos y GPT-OSS-120B, en el 91,1%. El número de rechazos o correcciones pertinentes en todo el benchmark va de 6 en GPT-OSS-120B a 46 en Gemma-2-9B-it. No hay relación con el número de parámetros.

La conclusión práctica de los autores es que el tamaño no reduce la fabricación, por lo que resulta más útil buscar otras palancas: recuperación (retrieval) a partir de colecciones bengalíes verificadas, entrenamiento para rechazar de forma consciente y verificación automática de que existen la colección, el transmisor y el número de hadiz citados. Los autores señalan precisamente los hadices como el punto más crítico para futuros experimentos.

Las limitaciones también son importantes. El benchmark contiene 240 preguntas en un solo idioma, una instrucción neutra, decodificación voraz y una referencia hanafí en fiqh, por lo que los resultados no pueden trasladarse a otras escuelas, idiomas ni familias de modelos. La dispersión en la abstención debe comprobarse con más modelos y más estilos de consulta. El propio BILAL-Bench es una herramienta de evaluación, no una fuente de prescripciones religiosas, y los autores advierten expresamente contra el uso de los modelos abiertos actuales para cuestiones religiosas, incluida la búsqueda de fetuas. El código y los datos están publicados en GitHub, en el repositorio BILAL-Bench.