SLIC и Semantic Shapley Value: как оценить вклад агентов в LLM-системах, −93% расчётов

В июле 2026 года на arXiv появился препринт с описанием SLIC — алгоритма, который оценивает вклад каждого агента в мультиагентной LLM-системе за один проход и снижает вычислительную стоимость на 93,3% по сравнению с базовым методом Monte Carlo Shapley.

Почему вклад агентов трудно посчитать

Классические методы атрибуции требуют многократно перезапускать систему — удалять отдельных агентов и сравнивать, как меняется итоговый результат. В языковых workflow каждый такой прогон означает новые вызовы модели: точный расчёт вклада по Shapley требует перебора всех 2^n подмножеств агентов, что даёт высокую дисперсию оценок и быстро становится неподъёмным при росте числа агентов.

Авторы работы указывают на вторую проблему: counterfactual-методы не видят промежуточные семантические состояния — то, как агенты порождают, сохраняют и трансформируют значимую для задачи информацию по ходу обмена сообщениями. Оценивается только вход и выход системы, а не сама логика передачи смысла между ролями.

Как устроен Semantic Shapley Value

SLIC строит из реализованного языкового потока семантический гиперграф и вычисляет Semantic Shapley Value (SSV) без перезапуска подмножеств агентов. Алгоритм восстанавливает минимальные семантические supports, применяет булеву абсорбцию и распределяет вклад по логике семантической поддержки за одну траекторию выполнения — отсюда и «single-trajectory» в описании метода.

Авторы доказывают, что SSV сводится к классическому значению Шепли при стандартных условиях: множественное представление, полная наблюдаемость и отсутствие зависимости от порядка. То есть новый метод — не эвристика, а корректное обобщение известной теории кооперативных игр на языковые процессы, где важен порядок шагов и промежуточный смысл.

• Метод: Semantic Cooperative Games (SCG) + Semantic Shapley Value (SSV)
• Алгоритм: SLIC — расчёт за один проход, без контрфактических перезапусков
• Экономия: −93,3% вычислительной стоимости на медицинском бенчмарке
• Согласованность: результаты близки к базовому Monte Carlo Shapley
• Публикация: препринт arXiv:2607.18255, июль 2026 года

Что показали тесты

На медицинском бенчмарке, удовлетворяющем условиям теоремы, SLIC снизил вычислительную стоимость на 93,3%, оставаясь высоко согласованным с базовым методом Monte Carlo Shapley. Это ключевой результат работы: практически те же оценки вклада, но почти в 15 раз дешевле по расчётам.

В более общих мультиролевых workflow значение SSV совпадает с профилями падения оценки при возмущениях и вскрывает случаи, где семантический вклад агента и его влияние на сбой расходятся — то есть агент может нести много смысла, но при этом не быть точкой отказа, и наоборот.

«SLIC — быстрый, не требующий контрфактических прогонов и

интерпретируемый метод атрибуции для сложных мультиагентных LLM-систем», — говорится в аннотации работы на arXiv.

Что это значит

По мере того как продукты собираются из нескольких взаимодействующих LLM-агентов, вопрос «кто именно принёс пользу, а кто сломал результат» становится инженерным, а не философским. SLIC даёт способ отвечать на него дёшево и без чёрного ящика — это важно для отладки, оптимизации и справедливой оценки агентов в мультиагентных системах.

Частые вопросы

Что такое атрибуция вклада в мультиагентных LLM-системах?

Это оценка того, какой из нескольких агентов и насколько повлиял на финальный результат, когда ответ рождается через цепочку сообщений и зависимостей workflow. SLIC решает эту задачу через семантический гиперграф и Semantic Shapley Value вместо дорогих контрфактических прогонов.

Насколько SLIC быстрее прежних методов?

На медицинском бенчмарке SLIC снизил вычислительную стоимость на 93,3% относительно базового Monte Carlo Shapley, сохранив близкие к нему результаты и не перезапуская подмножества агентов.