SHAP pour le machine learning : comparatif des explainers et guide pratique

SHAP est devenu un standard en ML. Ce framework montre la contribution de chaque variable à la prédiction d'un modèle. Mais comment choisir entre les différentes méthodes d'interprétation ? Un nouveau guide apporte une réponse pratique.

Quatre façons d'expliquer un modèle

Le guide GitHub compare différents explainers SHAP sur les mêmes données, avec des arbres de décision et d'autres modèles. Il s'avère que la manière de calculer l'importance des variables influe à la fois sur le résultat et sur la vitesse.

• Tree explainer : ne fonctionne qu'avec les arbres, le plus rapide
• Exact explainer : mathématiquement exact, mais lent sur les gros modèles
• Permutation explainer : universel, fonctionne avec n'importe quel modèle
• Kernel explainer : le plus flexible, mais gourmand en mémoire

Quelle méthode utiliser, et quand

Si le modèle est un arbre de décision ou une forêt aléatoire, le Tree explainer fait le travail en quelques millisecondes. Si vous avez besoin d'une précision absolue sur de petites données, l'Exact explainer ne vous décevra pas. Pour les boîtes noires (réseaux de neurones, XGBoost), Permutation ou Kernel conviennent : le premier est plus rapide, le second plus précis.

Le guide montre aussi comment suivre le drift, c'est-à-dire la dégradation d'un modèle avec le temps. SHAP aide à repérer les variables qui ont commencé à se comporter de façon étrange. Pour les interactions entre variables (quand A et B ensemble comptent plus que séparément), il existe des méthodes dédiées.

Pratique contre théorie

Sur des données réelles, le Tree explainer est plus de 100 fois plus rapide que l'Exact, mais l'Exact donne toujours le même résultat, alors que le Tree peut varier selon la structure. Permutation fonctionne avec tout, mais exige beaucoup de calcul sur de gros jeux de données. Kernel est le plus lent, mais c'est lui qui comprend le mieux les explications locales autour d'un point d'intérêt.

Ce que cela signifie

L'explicabilité d'un modèle de ML n'est pas un luxe, mais une nécessité. Les régulateurs exigent d'expliquer pourquoi un modèle a refusé un crédit ou diagnostiqué une maladie. SHAP est l'un des outils qui le permettent. Le nouveau guide montre qu'il n'existe pas de solution universelle : il faut choisir l'explainer selon le type de modèle, le volume de données et la précision requise.