PatEx-Gym учит ИИ-агентов искать патентные аналоги: 1 млн патентов и модель на 4B

Патентная экспертиза давно считается одной из самых неудобных задач для ИИ. Нужно найти редкие документы, которые опровергают новизну заявки, и сделать это среди миллионов текстов из разных технических областей. Команда Qiyao Wang, Xinyi Chen, Hongbo Wang, Jiayuan Lu, Jianhang Li, Minghuan Tan, Yuan Lin и Min Yang представила PatEx-Gym. Это первая среда, где агент проходит весь путь эксперта: поиск, чтение, рассуждение и итоговое заключение. Среда включает 1000 реалистичных задач, корпус из более чем 1 млн патентов и 52 тысячи научных статей. Опорный агент PatEx-Agent имеет всего 4 млрд параметров.

Почему старые бенчмарки не отражали работу эксперта

Большинство существующих тестов дают модели готовый и ограниченный набор кандидатов. Задача сводится к тому, чтобы выбрать подходящее из показанного. Реальный эксперт работает иначе. Он формулирует запрос, смотрит выдачу, открывает документы, понимает, что искал не то, и переформулирует поиск. Результат оформляется в Office Action, официальном заключении, где вывод о новизне должен опираться на конкретные источники.

PatEx-Gym переносит эту логику в интерактивную среду. Агент использует инструменты поиска, «заходит» в документы, рассуждает и в конце генерирует заключение. Авторы называют задачу long-horizon: ошибка на раннем шаге поиска потом уже не исправляется красивым финальным текстом.

Из чего состоит PatEx-Gym

Фреймворк объединяет три компонента, а в его основе лежат четыре артефакта:

• PatEx-Bench — бенчмарк с 1000 реалистичных экспертных задач, двумя крупными поисковыми корпусами (свыше 1 млн патентов и 52 тыс. научных статей) и исполняемой средой. Среда поддерживает итеративный поиск, посещение документов, рассуждение и генерацию Office Action.
• PASS (Prior-Art Agentic Search Trajectory Synthesis) — метод синтеза обучающих траекторий поиска без ручной аннотации. Он использует посещения документов как неявный сигнал релевантности и как опорные точки получения доказательств. На этих сигналах моделируются три уровня: поведение запросов внутри одного хода, развитие поиска между ходами и качество доказательств и результата по всей траектории.
• PatEx-SynData — набор данных, полученный через PASS из отобранных траекторий.
• PatEx-Agent — агент на 4 млрд параметров, обученный supervised fine-tuning на этих траекториях. Авторы позиционируют его как лёгкий базовый вариант.

Ход с PASS показывает, как обойтись без дорогой ручной разметки. Вместо того чтобы просить экспертов описывать правильный путь поиска, метод берёт сам факт, какие документы агент открывал, и считает его признаком того, что они были полезны.

Что показали эксперименты

Главный вывод касается метрик: итоговая точность решения «новизна есть или нет» не отражает качество экспертизы. Модель может прийти к верному вердикту без найденных ключевых документов, и такое заключение с юридической точки зрения слабо обосновано. Поэтому PatEx-Bench оценивает и сам процесс, включая обнаружение предшествующего уровня техники.

Эта часть оказалась самой трудной. Поиск редких релевантных документов остаётся проблемой даже для сильных frontier-моделей. При этом PatEx-Agent на 4B после обучения на PatEx-SynData, по заявлению авторов, показывает результат, конкурентный по сравнению со значительно более крупными универсальными агентами. Для узкой профессиональной задачи это аргумент в пользу специализированных небольших моделей.

Авторы рассматривают патентную экспертизу как требовательный полигон для агентного поиска и deep research-агентов. Задача сочетает длинные цепочки действий, неоднозначную релевантность и необходимость документировать выводы.

Кому это пригодится уже сейчас

Код опубликован в репозитории AIforIP/PatEx-Gym, есть и страница проекта. Команды, которые делают deep research-агентов или поисковые системы по технической литературе, получают готовый стенд с тысячей задач и большим корпусом. Патентные бюро и юридические фирмы могут использовать его для сравнения инструментов не только по вердикту, но и по найденным доказательствам. Для разработчиков моделей ценен сам подход PASS: он показывает, как строить обучающие данные для агентов из логов поведения без ручной разметки.