Token de grafo do G-Retriever é um embuste: similaridade de cosseno de 0.985–0.998

O token de grafo, razão pela qual o G-Retriever e seus sucessores treinam uma GNN, carrega quase nenhuma informação sobre o grafo. Essa é a conclusão do grupo de Andrea Giuseppe Di Francesco, da Universidade Sapienza de Roma, com Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò e Fabrizio Silvestri. A similaridade de cosseno entre os tokens de exemplos diferentes é de 0.985–0.998, ou seja, para o LLM é praticamente o mesmo vetor. Os autores batizaram o fenômeno de token collapse e mostraram que a acurácia em tarefas de perguntas sobre grafos não depende dele.

Como foi o teste: troca do token e constante no lugar da GNN

O G-Retriever pertence à família de métodos de graph soft prompting. Uma GNN codifica o subgrafo de conhecimento em um ou mais soft tokens, que são adicionados ao prompt. Em paralelo, o mesmo grafo é escrito em linguagem natural e entregue como texto comum. A hipótese era que o token transmitiria a estrutura relacional e o texto a complementaria.

Os autores examinaram esse esquema por meio de intervenções. Eles substituíram o token por:

• o valor médio do token no conjunto de dados;
• o token de outro exemplo;
• um token calculado a partir de outro grafo ou de um grafo corrompido.

Nenhuma das substituições teve efeito perceptível na acurácia das respostas. Em seguida, treinaram um soft prompt constante, que não consulta o grafo em momento algum. Nos três benchmarks, ele igualou o G-Retriever ou o superou. Ou seja, o token funciona como um soft prompt treinável comum, e o grafo chega ao modelo por meio de sua verbalização em texto.

Escala do problema: não é um único método nem uma única configuração

O colapso não depende de uma escolha específica de componentes. Ele foi registrado em três benchmarks, com três codificadores de grafo, em duas famílias de LLM, tanto com modelos congelados quanto com modelos adaptados via LoRA. Os métodos seguintes, tanto os de um único token quanto os de vários tokens com pooling, herdaram o mesmo defeito.

Sobre a relação com a arquitetura e o treinamento, os autores são cautelosos: o colapso se associa ao projetor Sigmoid e ao treinamento ponta a ponta sobre as respostas. Quando o único sinal é a resposta correta e o canal de texto já fornece tudo o que é necessário, é mais fácil para o otimizador aprender uma constante do que extrair a estrutura do grafo.

Token diverso ainda não significa token útil

Os autores propuseram um pipeline de duas etapas, que produz tokens sem colapso e, na maioria dos casos, mantém acurácia competitiva. Mas a diversidade dos vetores não prova que o modelo usa o grafo. Intervenções e sondas de decodificação mostraram que, dependendo da configuração, o token pode codificar:

• a própria pergunta;
• a distribuição a priori das respostas;
• informação do grafo que o LLM ignora;
• informação do grafo que de fato altera a resposta.

A última opção é justamente aquela para a qual o método foi concebido, e ela precisa ser verificada separadamente.

O principal resultado prático do trabalho é um protocolo que testa diretamente a correspondência entre token e grafo, em vez de deduzi-la da acurácia final. O código para reproduzir os experimentos está publicado no repositório Token_Collapse_KGQA, no GitHub.

Equipes que constroem sistemas GraphRAG e KGQA com soft tokens de grafo devem incluir três verificações na avaliação. Primeira: substituir o token pela média do conjunto de dados e comparar as métricas. Segunda: treinar um prompt constante como baseline. Terceira: medir a similaridade de cosseno entre os tokens de exemplos diferentes. Se o token pode ser trocado sem perdas, a contribuição do grafo para a qualidade vem pelo texto, e a GNN nesse esquema apenas gasta poder de computação. Quem ainda quer obter um sinal de grafo genuíno deve experimentar o treinamento em duas etapas e as sondas de decodificação, para distinguir um token que carrega informação do grafo de um que apenas repete a pergunta.