Графовый токен в G-Retriever оказался пустышкой: косинус 0.985–0.998

Графовый токен, ради которого в G-Retriever и его наследниках обучают GNN, почти не несёт информации о графе. К такому выводу пришла группа Андреа Джузеппе Ди Франческо из римского университета Sapienza вместе с Ришабхом Джейном, Франко Марией Нардини, Николой Тонеллотто, Пьетро Лиò и Фабрицио Сильвестри. Косинусная близость между токенами разных примеров составляет 0.985–0.998, то есть для LLM это практически один и тот же вектор. Авторы назвали явление token collapse и показали, что точность на задачах с вопросами по графам держится совсем не на нём.

Как проверяли: подмена токена и константа вместо GNN

G-Retriever относится к методам graph soft prompting. GNN кодирует подграф знаний в один или несколько мягких токенов, которые добавляются к промпту. Параллельно тот же граф записывается словами и подаётся как обычный текст. Предполагалось, что токен передаёт реляционную структуру, а текст её дополняет.

Авторы разобрали эту схему с помощью интервенций. Они подменяли токен на:

• среднее значение токена по датасету;
• токен из другого примера;
• токен, посчитанный по другому или испорченному графу.

Ни одна из подмен не дала заметного эффекта на точности ответов. Затем они обучили константный мягкий промпт, который вообще не обращается к графу. На всех трёх бенчмарках он сравнялся с G-Retriever или превзошёл его. Выходит, токен работает как обычный обучаемый soft prompt, а граф в модель попадает через его текстовую вербализацию.

Масштаб проблемы: не один метод и не одна конфигурация

Коллапс не зависит от удачного выбора компонентов. Его зафиксировали на трёх бенчмарках, с тремя графовыми энкодерами, на двух семействах LLM, причём и с замороженными моделями, и с адаптированными через LoRA. Следующие методы, как однотокенные, так и многотокенные с пулингом, унаследовали тот же дефект.

Связь с архитектурой и обучением авторы описывают осторожно: коллапс ассоциируется с Sigmoid-проектором и со сквозным обучением на ответах. Когда единственный сигнал — правильный ответ, а текстовый канал уже даёт всё нужное, оптимизатору проще выучить константу, чем тащить структуру из графа.

Разнообразный токен ещё не значит полезный

Авторы предложили двухэтапный пайплайн, который даёт неколлапсирующие токены и в большинстве случаев сохраняет конкурентную точность. Но разнообразие векторов не доказывает, что модель использует граф. Через интервенции и декодирующие пробы выяснилось, что токен в зависимости от конфигурации может кодировать:

• сам вопрос;
• априорное распределение ответов;
• информацию о графе, которую LLM игнорирует;
• информацию о графе, которая действительно меняет ответ.

Последний вариант как раз тот, ради которого метод и задумывался, и его нужно проверять отдельно.

Главный практический итог работы — протокол, который напрямую тестирует соответствие токена и графа, а не выводит его из итоговой точности. Код для воспроизведения экспериментов опубликован в репозитории Token_Collapse_KGQA на GitHub.

Командам, которые строят GraphRAG и KGQA-системы на мягких графовых токенах, стоит добавить в оценку три проверки. Первая: заменить токен на среднее по датасету и сравнить метрики. Вторая: обучить константный промпт как базовую линию. Третья: измерить межпримерную косинусную близость токенов. Если токен можно подменить без потерь, вклад графа в качество идёт через текст, и GNN в такой схеме лишь тратит вычисления. Тем, кто всё же хочет получить настоящий графовый сигнал, имеет смысл попробовать двухэтапное обучение и декодирующие пробы, чтобы отличить токен с графовой информацией от токена, который просто повторяет вопрос.