SLIC и Semantic Shapley Value: как оценить вклад агентов в LLM-системах, −93% расчётов

En juillet 2026, un préprint décrivant SLIC est apparu sur arXiv — un algorithme qui estime la contribution de chaque agent dans un système LLM multi-agent en une seule passe et réduit le coût de calcul de 93,3% par rapport à la méthode de référence Monte Carlo Shapley.

Pourquoi la contribution des agents est difficile à calculer

Les méthodes classiques d'attribution nécessitent de réexécuter le système à plusieurs reprises — en supprimant des agents individuels et en comparant comment le résultat final change. Dans les workflows de langage, chaque exécution de ce type implique de nouveaux appels au modèle : le calcul exact de la contribution par la méthode de Shapley nécessite de parcourir les 2^n sous-ensembles d'agents, ce qui produit des estimations à forte variance et devient rapidement intenable à mesure que le nombre d'agents augmente.

Les auteurs du travail pointent un second problème : les méthodes contrefactuelles ne voient pas les états sémantiques intermédiaires — la manière dont les agents génèrent, conservent et transforment les informations pertinentes pour la tâche au fil de l'échange de messages. Seules l'entrée et la sortie du système sont évaluées, et non la logique même de transfert de sens entre les rôles.

Comment fonctionne le Semantic Shapley Value

SLIC construit un hypergraphe sémantique à partir du flux de langage réalisé et calcule le Semantic Shapley Value (SSV) sans réexécuter de sous-ensembles d'agents. L'algorithme reconstitue les supports sémantiques minimaux, applique l'absorption booléenne et répartit la contribution selon la logique du support sémantique sur une seule trajectoire d'exécution — d'où le terme « single-trajectory » dans la description de la méthode.

Les auteurs démontrent que le SSV se réduit à la valeur de Shapley classique sous des conditions standard : représentation multilinéaire, observabilité complète et indépendance vis-à-vis de l'ordre. Autrement dit, la nouvelle méthode n'est pas une heuristique, mais une généralisation correcte de la théorie des jeux coopératifs bien connue aux processus de langage, où l'ordre des étapes et le sens intermédiaire comptent.

*Méthode : Semantic Cooperative Games (SCG) + Semantic Shapley Value (SSV)

*Algorithme : SLIC — calcul en une seule passe, sans réexécutions contrefactuelles

*Économie : −93,3% de coût de calcul sur un benchmark médical

*Cohérence : résultats proches du Monte Carlo Shapley de référence

*Publication : préprint arXiv:2607.18255, juillet 2026

Ce que les tests ont montré

Sur un benchmark médical satisfaisant les conditions du théorème, SLIC a réduit le coût de calcul de 93,3%, tout en restant très cohérent avec la méthode de référence Monte Carlo Shapley. C'est le résultat clé du travail : des estimations de contribution pratiquement identiques, mais près de 15 fois moins coûteuses à calculer.

Dans des workflows multi-rôles plus généraux, la valeur SSV coïncide avec les profils de dégradation du score en cas de perturbations et révèle des cas où la contribution sémantique d'un agent et son influence sur la défaillance divergent — c'est-à-dire qu'un agent peut porter beaucoup de sens sans pour autant être un point de défaillance, et inversement.

« SLIC est une méthode d'attribution rapide, ne nécessitant pas

d'exécutions contrefactuelles et interprétable pour des systèmes LLM multi-agents complexes », indique le résumé du travail sur arXiv.

Ce que cela signifie

À mesure que les produits sont assemblés à partir de plusieurs agents LLM en interaction, la question de savoir « qui exactement a apporté de la valeur, et qui a cassé le résultat » devient une question d'ingénierie, et non philosophique. SLIC offre un moyen d'y répondre à bas coût et sans boîte noire — ce qui est important pour le débogage, l'optimisation et l'évaluation équitable des agents dans les systèmes multi-agents.

Questions fréquentes

Qu'est-ce que l'attribution de contribution dans les systèmes LLM multi-agents ?

C'est l'évaluation de l'agent, parmi plusieurs, qui a influencé le résultat final, et dans quelle mesure, lorsque la réponse naît d'une chaîne de messages et de dépendances du workflow. SLIC résout ce problème grâce à un hypergraphe sémantique et au Semantic Shapley Value, au lieu de réexécutions contrefactuelles coûteuses.

De combien SLIC est-il plus rapide que les méthodes précédentes ?

Sur un benchmark médical, SLIC a réduit le coût de calcul de 93,3% par rapport au Monte Carlo Shapley de référence, tout en conservant des résultats proches de celui-ci et sans réexécuter de sous-ensembles d'agents.