Los autores de un artículo de arXiv encuentran cinco fallos en las métricas de fidelidad de la XAI

En diez años, la IA explicable no ha cumplido su promesa principal: no ha enseñado a las personas a confiar en los modelos con criterio. Esa es la conclusión de un position paper, arXiv:2610.12493 (sección cs.AI, versión v1 del 12 de octubre de 2026). Los autores atribuyen el fracaso a que las propias métricas de fidelidad (faithfulness) de las explicaciones funcionan mal. Señalan cinco defectos importantes en ellas y proponen cuatro líneas de investigación que podrían hacerlas más fiables.

La confianza no ha crecido

La lógica original del sector parecía sencilla: si se muestra a una persona qué rasgos influyeron en una predicción, entenderá mejor el modelo y confiará en él en su justa medida. Según los autores, las evidencias acumuladas en la última década apuntan en otra dirección. Las explicaciones empujaron a los usuarios a confiar en exceso en predicciones incorrectas. Cuando los errores salían a la luz, aparecía la reacción contraria: la aversión algorítmica (algorithmic aversion).

Como resultado, la XAI se ha consolidado en otro papel: sobre todo es una herramienta de depuración. Aporta observaciones anecdóticas, por ejemplo sobre qué rasgos ha aprendido realmente el modelo. Eso resulta útil para un ingeniero. Como mecanismo de confianza para el usuario final o el regulador, funciona bastante peor.

Dónde se rompe la fidelidad

Para los autores, una de las causas principales está en la propia naturaleza de las explicaciones. Los métodos suelen simplificar en exceso el funcionamiento interno del modelo, y eso genera un desajuste entre la explicación y el modelo. Es lo que se conoce como infidelidad (unfaithfulness o infidelity). Aquí, la faithfulness se entiende como el grado en que la explicación aproxima al modelo.

Si la fidelidad pudiera calcularse con rigor, ofrecería una medida cuantitativa de uno de los elementos de la fiabilidad de una explicación. Pero, según el artículo, las métricas existentes hacen que esa medición sea inviable o computacionalmente costosa.

Claves del trabajo:

• Formato: position paper, no un experimento ni un benchmark.
• Objeto: métricas de fidelidad para explicaciones de tipo feature importance.
• Diagnóstico: cinco defectos importantes en las métricas actuales.
• Propuesta: cuatro posibles líneas de investigación.
• Problema de fondo: evaluar la fidelidad es inviable o demasiado costoso en términos de cómputo.

En el resumen publicado no se enumeran los cinco defectos ni las cuatro líneas. Hay que consultar su contenido en el texto completo del artículo. No los vamos a reconstruir por conjetura.

Qué deben hacer los profesionales

La conclusión práctica para los equipos que usan mapas de relevancia de rasgos y herramientas similares es bastante sobria. Conviene tratar la explicación como una hipótesis sobre el comportamiento del modelo, no como una prueba. Una imagen convincente no dice todavía hasta qué punto refleja los cálculos reales dentro de la red.

En tareas de depuración, la XAI sigue siendo útil. Sirve para buscar fugas de datos, correlaciones espurias y rasgos extraños. En productos donde la explicación se muestra al usuario o a un auditor, es mejor no depender de una única métrica de fidelidad y reservar de antemano presupuesto de cómputo para la verificación. Cuando la confianza es importante por ley o por el coste de un error, conviene probar por separado cómo reaccionan las personas ante predicciones erróneas con explicación y sin ella. Según los datos a los que remiten los autores, es justo ahí donde surge el sesgo hacia la confianza ciega.

Para los investigadores, la señal es distinta. Mientras no exista una métrica de fidelidad fiable y barata, es difícil comparar entre sí los métodos de explicación. Por eso, afirmaciones del tipo «nuestro método es más preciso» deben leerse con cautela.