Autores de artigo no arXiv apontam cinco falhas nas métricas de fidedignidade de XAI

Em dez anos, a IA explicável não cumpriu sua principal promessa: ensinar as pessoas a confiar nos modelos na medida certa. Essa é a conclusão do position paper arXiv:2610.12493 (seção cs.AI, versão v1 de 12 de outubro de 2026). Os autores atribuem o fracasso ao mau funcionamento das próprias métricas de fidedignidade (faithfulness) das explicações. Eles apontam cinco deficiências relevantes nessas métricas e propõem quatro direções de pesquisa que poderiam torná-las mais confiáveis.

A confiança não aumentou

A lógica original do setor era simples. Se o usuário vê quais atributos influenciaram a previsão, entende melhor o modelo e passa a confiar nele na medida adequada. Na avaliação dos autores, as evidências acumuladas na última década apontam para outro cenário. As explicações levaram os usuários a confiar demais em previsões incorretas. Quando os erros apareciam, vinha a reação oposta: a aversão algorítmica (algorithmic aversion).

Como resultado, a XAI consolidou-se em outro papel. Ela é, antes de tudo, uma ferramenta de depuração. Fornece observações anedóticas, por exemplo sobre quais atributos o modelo de fato aprendeu. Para o engenheiro, isso é útil. Como mecanismo de confiança para o usuário final ou para o regulador, funciona sensivelmente pior.

Onde a fidedignidade falha

Segundo os autores, uma das principais causas está na própria natureza das explicações. Os métodos costumam simplificar demais o funcionamento interno do modelo, o que cria uma discrepância entre a explicação e o modelo. Isso é chamado de infidelidade (unfaithfulness ou infidelity). Aqui, faithfulness é entendida como o grau de aproximação da explicação em relação ao modelo.

Se a fidedignidade pudesse ser calculada com rigor, ela daria uma medida quantitativa de um dos elementos da confiabilidade da explicação. Mas, segundo o artigo, as métricas existentes tornam essa medição inviável ou computacionalmente cara.

Principais parâmetros do trabalho:

• Formato: position paper, não um experimento nem um benchmark.
• Objeto: métricas de fidedignidade para explicações do tipo feature importance.
• Diagnóstico: cinco deficiências relevantes nas métricas atuais.
• Proposta: quatro possíveis direções de pesquisa.
• Problema de base: a avaliação da fidedignidade é inexequível ou cara demais em termos computacionais.

O resumo publicado não lista as cinco deficiências nem as quatro direções. O conteúdo delas está no texto completo do artigo. Não vamos resumi-las por suposição.

O que fazer na prática

A conclusão prática para equipes que usam mapas de saliência de atributos e ferramentas semelhantes é bastante sóbria. Vale tratar a explicação como uma hipótese sobre o comportamento do modelo, não como prova. Uma imagem convincente ainda não diz nada sobre o quanto ela corresponde aos cálculos reais dentro da rede.

Na depuração, a XAI continua útil. Ela ajuda a encontrar vazamentos de dados, correlações espúrias e atributos estranhos. Em produtos nos quais a explicação é exibida ao usuário ou a um auditor, é melhor não depender de uma única métrica de fidedignidade e reservar de antemão orçamento computacional para a verificação. Onde a confiança é importante por força de lei ou pelo custo do erro, vale testar separadamente como as pessoas reagem a previsões incorretas com e sem explicação. É justamente aí que, segundo os dados citados pelos autores, surge o viés de confiança cega.

Para os pesquisadores, o sinal é outro. Sem uma métrica de fidedignidade confiável e barata, é difícil comparar métodos de explicação entre si. Isso significa que afirmações do tipo "nosso método é mais preciso" devem ser lidas com ressalvas.