Le token graphe de G-Retriever est une coquille vide : cosinus 0.985–0.998

Le token graphe, pour lequel G-Retriever et ses descendants entraînent un GNN, ne porte presque aucune information sur le graphe. C'est la conclusion d'une équipe menée par Andrea Giuseppe Di Francesco, de l'université Sapienza de Rome, avec Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò et Fabrizio Silvestri. La similarité cosinus entre les tokens d'exemples différents est de 0.985–0.998 : pour le LLM, c'est pratiquement le même vecteur. Les auteurs ont baptisé ce phénomène token collapse et montrent que la précision sur les tâches de questions-réponses sur graphes ne repose pas du tout sur ce token.

Méthode : substitution du token et constante à la place du GNN

G-Retriever relève du graph soft prompting. Un GNN encode un sous-graphe de connaissances en un ou plusieurs soft tokens, ajoutés au prompt. En parallèle, le même graphe est écrit en langage naturel et fourni comme du texte ordinaire. L'hypothèse de départ : le token transmet la structure relationnelle, et le texte la complète.

Les auteurs ont disséqué ce schéma par interventions. Ils ont remplacé le token par :

• la valeur moyenne du token sur le jeu de données ;
• le token d'un autre exemple ;
• un token calculé à partir d'un autre graphe, ou d'un graphe corrompu.

Aucune de ces substitutions n'a produit d'effet notable sur la précision des réponses. Les chercheurs ont ensuite entraîné un soft prompt constant, qui ne consulte jamais le graphe. Sur les trois benchmarks, il rejoint G-Retriever ou le surpasse. Le token se comporte donc comme un simple soft prompt apprenable, et le graphe n'atteint le modèle que par sa verbalisation textuelle.

Ampleur du problème : ni une seule méthode, ni une seule configuration

Le collapse ne tient pas à un choix de composants malheureux. Il a été observé sur trois benchmarks, avec trois encodeurs de graphes, sur deux familles de LLM, aussi bien avec des modèles gelés qu'avec des modèles adaptés par LoRA. Les méthodes qui ont suivi, qu'elles utilisent un seul token ou plusieurs tokens avec pooling, ont hérité du même défaut.

Les auteurs restent prudents sur le lien avec l'architecture et l'entraînement : le collapse est associé au projecteur Sigmoid et à l'entraînement de bout en bout sur les réponses. Quand le seul signal est la bonne réponse et que le canal textuel fournit déjà tout le nécessaire, l'optimiseur trouve plus simple d'apprendre une constante que d'extraire la structure du graphe.

Un token diversifié n'est pas forcément utile

Les auteurs ont conçu un pipeline en deux étapes qui produit des tokens non collapsés et, dans la majorité des cas, conserve une précision compétitive. Mais la diversité des vecteurs ne prouve pas que le modèle exploite le graphe. Les interventions et les sondes de décodage ont montré que, selon la configuration, le token peut encoder :

• la question elle-même ;
• la distribution a priori des réponses ;
• de l'information sur le graphe que le LLM ignore ;
• de l'information sur le graphe qui modifie réellement la réponse.

Le dernier cas est précisément celui pour lequel la méthode a été conçue, et il faut le vérifier séparément.

Le principal apport pratique de ce travail est un protocole qui teste directement la correspondance entre le token et le graphe, au lieu de la déduire de la précision finale. Le code permettant de reproduire les expériences est publié sur GitHub, dans le dépôt Token_Collapse_KGQA.

Les équipes qui construisent des systèmes GraphRAG et KGQA sur des soft tokens de graphe devraient ajouter trois vérifications à leur évaluation. Première : remplacer le token par la moyenne du jeu de données et comparer les métriques. Deuxième : entraîner un prompt constant comme baseline.

Troisième : mesurer la similarité cosinus inter-exemples des tokens. Si le token peut être substitué sans perte, la contribution du graphe à la qualité passe par le texte, et le GNN ne fait que dépenser du calcul dans ce schéma. Ceux qui veulent tout de même obtenir un véritable signal de graphe ont intérêt à essayer l'entraînement en deux étapes et les sondes de décodage, afin de distinguer un token porteur d'information sur le graphe d'un token qui se contente de répéter la question.