El token de grafo de G-Retriever resulta ser casi vacío: similitud coseno de 0.985–0.998

El token de grafo, por el que G-Retriever y sus sucesores entrenan una GNN, apenas contiene información sobre el grafo. Esa es la conclusión de un grupo encabezado por Andrea Giuseppe Di Francesco, de la Universidad Sapienza de Roma, junto con Rishabh Jain, Franco Maria Nardini, Nicola Tonellotto, Pietro Liò y Fabrizio Silvestri. La similitud coseno entre los tokens de ejemplos distintos es de 0.985–0.998, es decir, para el LLM se trata prácticamente del mismo vector. Los autores llamaron al fenómeno token collapse y demostraron que la precisión en tareas de preguntas sobre grafos no depende en absoluto de ese token.

Cómo se comprobó: sustitución del token y constante en lugar de GNN

G-Retriever pertenece a los métodos de graph soft prompting. Una GNN codifica un subgrafo de conocimiento en uno o varios tokens blandos que se añaden al prompt. En paralelo, el mismo grafo se escribe con palabras y se entrega como texto normal. La hipótesis era que el token transmite la estructura relacional y que el texto la complementa.

Los autores analizaron este esquema mediante intervenciones. Sustituyeron el token por:

• el valor medio del token en el dataset;
• el token de otro ejemplo;
• un token calculado a partir de otro grafo o de un grafo corrupto.

Ninguna de las sustituciones tuvo un efecto apreciable en la precisión de las respuestas. Después entrenaron un soft prompt constante que no accede al grafo en ningún momento. En los tres benchmarks igualó a G-Retriever o lo superó. Por tanto, el token funciona como un soft prompt entrenable corriente, y el grafo llega al modelo a través de su verbalización en texto.

Alcance del problema: no es un solo método ni una sola configuración

El colapso no depende de una elección afortunada de componentes. Los autores lo registraron en tres benchmarks, con tres codificadores de grafos y en dos familias de LLM, tanto con modelos congelados como adaptados mediante LoRA. Los métodos posteriores, tanto los de un solo token como los multitoken con pooling, heredaron el mismo defecto.

Los autores son cautos al relacionar el fenómeno con la arquitectura y el entrenamiento: el colapso se asocia con el proyector Sigmoid y con el entrenamiento de extremo a extremo sobre las respuestas. Cuando la única señal es la respuesta correcta y el canal de texto ya aporta todo lo necesario, al optimizador le resulta más fácil aprender una constante que extraer la estructura del grafo.

Un token diverso no es necesariamente un token útil

Los autores propusieron un pipeline de dos etapas que produce tokens sin colapso y, en la mayoría de los casos, mantiene una precisión competitiva. Pero la diversidad de los vectores no demuestra que el modelo use el grafo. Las intervenciones y las sondas de decodificación revelaron que, según la configuración, el token puede codificar:

• la propia pregunta;
• la distribución a priori de las respuestas;
• información del grafo que el LLM ignora;
• información del grafo que realmente cambia la respuesta.

Esta última es justamente la variante para la que se concibió el método, y hay que verificarla por separado.

El principal resultado práctico del trabajo es un protocolo que prueba de forma directa la correspondencia entre el token y el grafo, en lugar de inferirla a partir de la precisión final. El código para reproducir los experimentos está publicado en el repositorio Token_Collapse_KGQA en GitHub.

Los equipos que construyen sistemas GraphRAG y KGQA con tokens blandos de grafo deberían añadir tres comprobaciones a su evaluación. Primera: sustituir el token por la media del dataset y comparar las métricas. Segunda: entrenar un prompt constante como línea base. Tercera: medir la similitud coseno entre tokens de distintos ejemplos. Si el token puede sustituirse sin pérdidas, la contribución del grafo a la calidad llega a través del texto, y la GNN en ese esquema solo gasta cómputo. Quienes aun así quieran obtener una auténtica señal de grafo harían bien en probar el entrenamiento en dos etapas y las sondas de decodificación, para distinguir un token con información del grafo de uno que simplemente repite la pregunta.