SLIC и Semantic Shapley Value: как оценить вклад агентов в LLM-системах, −93% расчётов

Em julho de 2026, surgiu no arXiv um preprint descrevendo o SLIC — um algoritmo que estima a contribuição de cada agente em um sistema LLM multiagente em uma única passagem e reduz o custo computacional em 93,3% em comparação com o método de referência Monte Carlo Shapley.

Por que é difícil calcular a contribuição dos agentes

Os métodos clássicos de atribuição exigem reexecutar o sistema repetidamente — remover agentes individuais e comparar como o resultado final muda. Em workflows de linguagem, cada execução desse tipo significa novas chamadas ao modelo: o cálculo exato da contribuição via Shapley exige percorrer todos os 2^n subconjuntos de agentes, o que gera estimativas de alta variância e rapidamente se torna inviável à medida que o número de agentes cresce.

Os autores do trabalho apontam um segundo problema: os métodos contrafactuais não enxergam os estados semânticos intermediários — como os agentes geram, preservam e transformam informações relevantes para a tarefa ao longo da troca de mensagens. Avalia-se apenas a entrada e a saída do sistema, e não a própria lógica de transferência de significado entre os papéis.

Como funciona o Semantic Shapley Value

O SLIC constrói um hipergrafo semântico a partir do fluxo de linguagem realizado e calcula o Semantic Shapley Value (SSV) sem reexecutar subconjuntos de agentes. O algoritmo recupera os supports semânticos mínimos, aplica absorção booleana e distribui a contribuição segundo a lógica do suporte semântico ao longo de uma única trajetória de execução — daí o termo "single-trajectory" na descrição do método.

Os autores provam que o SSV se reduz ao valor de Shapley clássico sob condições padrão: representação multilinear, observabilidade completa e ausência de dependência da ordem. Ou seja, o novo método não é uma heurística, mas uma generalização correta da conhecida teoria dos jogos cooperativos para processos de linguagem, em que a ordem das etapas e o significado intermediário importam.

*Método: Semantic Cooperative Games (SCG) + Semantic Shapley Value (SSV)

*Algoritmo: SLIC — cálculo em uma única passagem, sem reexecuções contrafactuais

*Economia: −93,3% de custo computacional em um benchmark médico

*Consistência: resultados próximos ao Monte Carlo Shapley de referência

*Publicação: preprint arXiv:2607.18255, julho de 2026

O que os testes mostraram

Em um benchmark médico que satisfaz as condições do teorema, o SLIC reduziu o custo computacional em 93,3%, mantendo-se altamente consistente com o método de referência Monte Carlo Shapley. Este é o resultado-chave do trabalho: estimativas de contribuição praticamente iguais, mas quase 15 vezes mais baratas de calcular.

Em workflows multipapel mais gerais, o valor de SSV coincide com os perfis de queda da pontuação sob perturbações e revela casos em que a contribuição semântica de um agente e sua influência sobre a falha divergem — ou seja, um agente pode carregar muito significado sem ser um ponto de falha, e vice-versa.

"O SLIC é um método de atribuição rápido, que dispensa execuções

contrafactuais e é interpretável para sistemas LLM multiagente complexos", afirma o resumo do trabalho no arXiv.

O que isso significa

À medida que os produtos são montados a partir de vários agentes LLM que interagem entre si, a pergunta "quem exatamente trouxe valor, e quem quebrou o resultado" passa a ser uma questão de engenharia, não filosófica. O SLIC oferece uma forma de responder a isso de modo barato e sem caixa-preta — algo importante para depuração, otimização e avaliação justa de agentes em sistemas multiagente.

Perguntas frequentes

O que é atribuição de contribuição em sistemas LLM multiagente?

É a avaliação de qual entre vários agentes influenciou o resultado final, e o quanto, quando a resposta surge por meio de uma cadeia de mensagens e dependências do workflow. O SLIC resolve esse problema por meio de um hipergrafo semântico e do Semantic Shapley Value, em vez de reexecuções contrafactuais caras.

O quanto o SLIC é mais rápido que os métodos anteriores?

Em um benchmark médico, o SLIC reduziu o custo computacional em 93,3% em relação ao Monte Carlo Shapley de referência, mantendo resultados próximos a ele e sem reexecutar subconjuntos de agentes.