Безопасность и правоHugging Face Daily Papers→ оригинал

CoRE учит ИИ сам выбирать правила поиска по базам знаний без разметки

Исследователи представили CoRE, метод поиска по структурированным базам знаний, который сам учится выбирать правило рассуждения для каждого запроса. Заранее размеченные пары «запрос — правило», вроде «автор — статья» для науки или «анатомия — препарат» для медицины, ему не нужны. Механизм построен на замкнутом цикле. Маршрутизатор выбирает правило, а ретривер ищет доказательства, которые этому правилу удовлетворяют. Обучение чередует reinforcement learning для маршрутизатора и contrastive learning для ретривера: выбранные правила становятся разметкой для ретривера, а качество поиска служит наградой для маршрутизатора. • Тесты на STaRK-QA: научные открытия, биомедицина, управление товарными знаниями • Маршрутизация через генерацию переносится между датасетами • Статистика использования правил помогает находить и уточнять новые правила

AI-обработка оригинала Hugging Face Daily Papers; редакция Hamidun News
CoRE учит ИИ сам выбирать правила поиска по базам знаний без разметки
Источник: Hugging Face Daily Papers. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHugging Face Daily Papers ↗
Главный редактор
Тесты на STaRK-QAнаучные открытия, биомедицина, управление товарными знаниями
Ключевой факт #2Маршрутизация через генерацию переносится между датасетами
Ключевой факт #3Статистика использования правил помогает находить и уточнять новые правила

Поиск по структурированным базам знаний годами упирается в одну проблему: чтобы модель находила нужные факты в графе, ей нужно объяснить, по каким правилам идти. Команда авторов статьи arXiv 2610.14465 предлагает метод CoRE (Co-Adaptive Rule Routing and Constraining Retrieval), который учит систему делать это самостоятельно. Он одновременно обучает выбор правила для запроса и поиск доказательств в рамках этого правила, причём без заранее размеченных пар «запрос — правило». Метод проверили на трёх доменах бенчмарка STaRK-QA: научные открытия, биомедицинские рассуждения и управление e-commerce-знаниями.

Почему разметка правил стала узким местом

Существующие подходы делятся на два лагеря. Первые ищут без ограничений: ретривер свободно обходит базу знаний и ранжирует всё подряд, из-за чего в выдачу попадают формально близкие, но неподходящие по смыслу сущности. Вторые опираются на правила, но требуют предопределённой разметки, какое правило отвечает какому запросу. Для научного поиска это правила вроде «автор — статья», для прецизионной медицины вроде «анатомия — препарат».

Проблема в том, что такая разметка редко существует. Её нужно собирать вручную, силами экспертов в конкретной области, и для каждого нового домена всё начинается заново. CoRE снимает это требование: правила остаются в системе как набор ограничений, а вот привязку запросов к правилам модель находит сама.

Два компонента, которые учатся друг у друга

Архитектура состоит из двух частей, жёстко зависящих друг от друга.

  • Маршрутизатор правил (router). Получает запрос и выбирает правило. Обучается с подкреплением (reinforcement learning).
  • Ретривер с ограничениями. Для выбранного правила обходит базу знаний и ранжирует только то, что удовлетворяет условиям правила. Обучается контрастивно (contrastive learning).

Здесь и возникает курица и яйцо: маршрутизатору нужно знать, насколько хорошо ретривер отработает по правилу, а ретриверу нужны правильные правила, чтобы учиться на них. CoRE решает это чередованием фаз обучения. Правила, выбранные маршрутизатором, служат обучающим сигналом для ретривера. Качество найденных доказательств, в свою очередь, становится наградой для маршрутизатора. Получается замкнутый контур, в котором оба компонента подстраиваются друг под друга без явного контроля на уровне пар «запрос — правило».

Что показали эксперименты

Авторы тестировали метод на датасетах STaRK-QA, охватывающих три области:

  • научные открытия (поиск по академическим сущностям вроде авторов и статей);
  • биомедицинские рассуждения (связи между анатомией, заболеваниями и препаратами);
  • управление знаниями в e-commerce (товарные запросы).

Аблации подтверждают, что именно совместная адаптация роутера и ретривера даёт выигрыш: если разорвать контур, качество падает. Ещё два вывода касаются практики. Маршрутизация на основе генерации (generation-based routing) переносится между датасетами. Лучше всего работает схема, где сначала идёт мультидоменное предобучение, а затем дообучение на целевом наборе данных.

Отдельно авторы отмечают побочный эффект: анализ того, какие правила как часто применяются к запросам, подсказывает, как автоматически уточнять существующие правила и находить новые. Набор правил из статичной конструкции превращается в то, что можно итеративно улучшать по данным.

Где это пригодится

Для команд, которые строят RAG и агентные системы поверх графов знаний, CoRE интересен по трём причинам. Во-первых, он снижает стоимость входа в новый домен: эксперту достаточно описать набор правил, а не размечать запросы под каждое из них. Во-вторых, ограничение поиска правилом сужает пространство кандидатов и делает выдачу объяснимее: можно посмотреть, по какому правилу система пошла и почему. В-третьих, схема с мультидоменным предобучением и последующей доводкой хорошо ложится на корпоративные сценарии, где есть несколько баз знаний с разной структурой.

Ограничения тоже очевидны: метод по-прежнему требует заранее заданного набора правил, а чередующееся обучение с RL обычно капризнее обычного supervised-пайплайна. Тем не менее направление понятное: вместо дорогой разметки связей между запросами и правилами обучать систему самой находить эти связи через качество итогового поиска.

Вопросы и ответы по материалу

Что известно по теме: почему разметка правил стала узким местом?

Существующие подходы делятся на два лагеря. Первые ищут без ограничений: ретривер свободно обходит базу знаний и ранжирует всё подряд, из-за чего в выдачу попадают формально близкие, но неподходящие по смыслу сущности. Вторые опираются на правила, но требуют предопределённой разметки, какое правило отвечает какому запросу. Для научного поиска это правила вроде «автор — статья», для прецизионной медицины вроде «анатомия — препарат». Проблема в том, что такая разметка редко существует. Её нужно собирать вручную, силами экспертов в конкретной области, и для каждого нового доме

Что известно по теме: два компонента, которые учатся друг у друга?

Архитектура состоит из двух частей, жёстко зависящих друг от друга. Маршрутизатор правил (router). Получает запрос и выбирает правило. Обучается с подкреплением (reinforcement learning). Ретривер с ограничениями. Для выбранного правила обходит базу знаний и ранжирует только то, что удовлетворяет условиям правила. Обучается контрастивно (contrastive learning). Здесь и возникает курица и яйцо: маршрутизатору нужно знать, насколько хорошо ретривер отработает по правилу, а ретриверу нужны правильные правила, чтобы учиться на них. CoRE решает это чередованием фаз обучения. Прави

Что известно по теме: что показали эксперименты?

Авторы тестировали метод на датасетах STaRK-QA, охватывающих три области: научные открытия (поиск по академическим сущностям вроде авторов и статей); биомедицинские рассуждения (связи между анатомией, заболеваниями и препаратами); управление знаниями в e-commerce (товарные запросы). Аблации подтверждают, что именно совместная адаптация роутера и ретривера даёт выигрыш: если разорвать контур, качество падает. Ещё два вывода касаются практики. Маршрутизация на основе генерации (generation-based routing) переносится между датасетами. Лучше всего работает схема, где сначала идё

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ AI для бизнеса и команд

Внедрение ИИ, корпоративные воркшопы и AI-консалтинг

Экспертиза Жемала Хамидуна (hamidun.com) (CPO AlpinaGPT): аудит процессов, разработка AI-стратегии, кастомные RAG/агентные системы и обучение продуктовых команд.

Обсудить внедрение ИИ →Платформа NomadNet AI
Что вы думаете?
Загружаем комментарии…