RuBERT научили учитывать граф знаний: векторы считают заранее, внимание не трогают
RuBERT видит, какие слова стоят рядом, но не знает, что «градиентный спуск» — вид оптимизации, и путается на редких научных терминах. Автор разбора на Habr предлагает заранее посчитать векторы понятий из графа знаний (базы связей между терминами) и склеить их с вектором RuBERT перед небольшим классификатором. Так не нужен тяжёлый K-BERT с лимитом 512 токенов. Замеров качества пока нет, проверять придётся на своих данных.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что вы строите рубрикатор для научной библиотеки или внутренней базы статей. Берёте RuBERT — русскоязычную версию языковой модели BERT от DeepPavlov — и дообучаете её на размеченных текстах. Пока термины простые, качество приличное. Но приходят междисциплинарные статьи с редкими понятиями, и модель путается: она знает, какие слова часто стоят рядом, но не знает, что «градиентный спуск» — разновидность оптимизации. На Habr вышел разбор, как закрыть эту дыру без тяжёлой перестройки модели: заранее посчитать векторы понятий из графа знаний (базы, где связи между терминами записаны явно) и подмешать их к ответу RuBERT. Сразу оговорка: это проект метода, а не отчёт об экспериментах. Цифр качества в материале нет, и поэтому в заголовке их тоже нет.
Почему не K-BERT и не ERNIE
Самый очевидный путь — встроить граф знаний прямо в трансформер. K-BERT находит в тексте сущности, достаёт их триплеты «субъект — отношение — объект» и подшивает к предложению, превращая его в дерево. Чтобы внимание не расползалось по лишним веткам, добавляют специальные позиционные индексы и матрицу видимости.
Для длинных научных статей у такого подхода три слабых места. Последовательность растёт, а стоимость механизма внимания растёт квадратично. Лимит BERT в 512 токенов (примерно несколько абзацев текста) заканчивается быстрее, и контекст статьи приходится обрезать. А если термин привязан к неверному узлу графа, ошибка идёт через внимание и портит представление всего текста.
ERNIE действует иначе: при предобучении маскирует целые именованные сущности и подтягивает их описания из базы знаний. Но структура графа остаётся за кадром: иерархия и типы связей модели не видны. К тому же у узких терминов часто нет энциклопедических описаний вообще.
Как устроена лёгкая схема
Идея в том, чтобы не трогать внутренности языковой модели. Граф знаний превращают в векторы заранее, офлайн, одним из методов. TransE трактует отношение как сдвиг в векторном пространстве. RotatE — как поворот в комплексном пространстве и хорошо ловит симметричные и обратные связи. node2vec использует случайные блуждания по графу и не требует размеченных типов связей.
Дальше два потока. Текстовый: RuBERT выдаёт вектор служебного токена [CLS] размером 768 чисел, в котором собран смысл всего документа. Графовый: NER-модуль (поиск именованных сущностей) находит в статье научные понятия, каждое привязывается к узлу графа, а их векторы достаются из замороженной таблицы по ключу и усредняются. Если понятий не нашлось, подставляется нулевой вектор, и классификатор опирается только на текст.
Оба вектора склеиваются и идут в небольшой классификатор MLP: скрытый слой на 256 нейронов, функция ReLU, dropout 0,3 и softmax на выходе. В примере на PyTorch вся графовая часть — это nn.Embedding.from_pretrained(..., freeze=True) и несколько строк усреднения с маской. Обучают кросс-энтропией через оптимизатор AdamW. Такое слияние на уровне готовых признаков, а не сырых данных или итоговых ответов, позволяет классификатору выучить взаимодействие между контекстом и структурой графа.
Что это даёт на практике и где подвох
Экономика простая. Поиск вектора по ключу стоит O(1) на понятие, то есть не зависит от размера графа. Тяжёлые графовые нейросети во время работы не нужны, механизм внимания не меняется. Токены под знания не расходуются, поэтому ни длина входа, ни скорость заметно не страдают. Устойчивость тоже лучше: неверно привязанный термин — один вектор из многих в среднем, а не отравленный контекст.
Подвохов хватает. Во-первых, всё держится на качестве NER и привязки терминов к узлам: без неё граф ничего не добавит. Во-вторых, нужен готовый граф, покрывающий вашу область, иначе большинство статей получат нулевой вектор. В-третьих, лимит BERT в 512 токенов никуда не делся: длинные статьи по-прежнему придётся резать на фрагменты или брать заголовок с аннотацией. В-четвёртых, усреднение стирает порядок и важность терминов, и ключевое понятие может утонуть среди второстепенных.
Автор планирует сравнить метод по Macro F1 (метрика, чувствительная к редким классам при несбалансированных данных), а также по Micro F1, accuracy и миллисекундам на документ. Базовые варианты: TF-IDF с логистической регрессией или SVM, обычный RuBERT, K-BERT и ERNIE. Критерий успеха — прирост Macro F1 над обычным RuBERT при скорости выше, чем у тяжёлых гибридов.
Практический вывод: если у вас есть онтология или граф предметной области и работающий NER, схему можно собрать за пару дней. Сначала сравните её с обычным RuBERT на своих данных и только потом решайте, нужен ли граф. Пока это гипотеза, и поверить в неё можно будет лишь после ваших собственных замеров.
- 29 окт. 2026 г.Автор цикла на Habr сжимает русскую модель эмбеддингов со 180 до 29 млн параметров
- 30 апр. 2026 г.IWE и OpenAI: как превратить markdown-заметки в граф знаний для ИИ-агентов
- 29 окт. 2026 г.Сильная русская модель считает «люблю кошек» и «не люблю кошек» схожими на 70%
- 19 июл. 2026 г.Разработчик построил локальный спам-фильтр на модели ruBert-base-antispam без VPN
Вопросы и ответы по материалу
Что известно по теме: почему не K-BERT и не ERNIE?
Самый очевидный путь — встроить граф знаний прямо в трансформер. K-BERT находит в тексте сущности, достаёт их триплеты «субъект — отношение — объект» и подшивает к предложению, превращая его в дерево. Чтобы внимание не расползалось по лишним веткам, добавляют специальные позиционные индексы и матрицу видимости. Для длинных научных статей у такого подхода три слабых места. Последовательность растёт, а стоимость механизма внимания растёт квадратично.
Что известно по теме: как устроена лёгкая схема?
Идея в том, чтобы не трогать внутренности языковой модели. Граф знаний превращают в векторы заранее, офлайн, одним из методов. TransE трактует отношение как сдвиг в векторном пространстве. RotatE — как поворот в комплексном пространстве и хорошо ловит симметричные и обратные связи. node2vec использует случайные блуждания по графу и не требует размеченных типов связей. Дальше два потока. Текстовый: RuBERT выдаёт вектор служебного токена [CLS] размером 768 чисел, в котором собран смысл всего документа.
Что известно по теме: что это даёт на практике и где подвох?
Экономика простая. Поиск вектора по ключу стоит O(1) на понятие, то есть не зависит от размера графа. Тяжёлые графовые нейросети во время работы не нужны, механизм внимания не меняется. Токены под знания не расходуются, поэтому ни длина входа, ни скорость заметно не страдают. Устойчивость тоже лучше: неверно привязанный термин — один вектор из многих в среднем, а не отравленный контекст. Подвохов хватает. Во-первых, всё держится на качестве NER и привязки терминов к узлам: без неё граф ничего не добавит.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.