PatEx-Gym ensina agentes de IA a buscar anterioridades em patentes: 1 milhão de patentes e um modelo de 4B
Um grupo de pesquisadores liderado por Qiyao Wang lançou o PatEx-Gym, o primeiro ambiente para desenvolver e avaliar agentes de IA no papel de examinadores de patentes. O agente busca sozinho o estado da técnica anterior, lê documentos, reescreve consultas e redige um Office Action com a avaliação de novidade. A base do ambiente é um benchmark de 1000 tarefas e dois corpora: mais de 1 milhão de patentes e 52 mil artigos científicos. Segundo os autores, um agente de 4 bilhões de parâmetros, treinado com trajetórias sintéticas, compete com agentes generalistas bem maiores. • O PASS sintetiza trajetórias de busca sem anotação manual • A acurácia final do veredicto reflete mal a qualidade do exame • O código e a página do projeto estão abertos no GitHub
Processado por IA de Hugging Face Daily Papers; editado por Hamidun News
O exame de patentes é há muito tempo considerado uma das tarefas mais ingratas para a IA. É preciso encontrar documentos raros que contestem a novidade de um pedido, e fazer isso em meio a milhões de textos de diferentes áreas técnicas. A equipe formada por Qiyao Wang, Xinyi Chen, Hongbo Wang, Jiayuan Lu, Jianhang Li, Minghuan Tan, Yuan Lin e Min Yang apresentou o PatEx-Gym. É o primeiro ambiente em que o agente percorre todo o caminho de um examinador: busca, leitura, raciocínio e parecer final. O ambiente inclui 1000 tarefas realistas, um corpus com mais de 1 milhão de patentes e 52 mil artigos científicos. O agente de referência, o PatEx-Agent, tem apenas 4 bilhões de parâmetros.
Por que os benchmarks antigos não refletiam o trabalho do examinador
A maioria dos testes atuais entrega ao modelo um conjunto pronto e limitado de candidatos. A tarefa se resume a escolher o documento adequado entre os exibidos. O examinador de verdade trabalha de outra forma. Ele formula uma consulta, analisa os resultados, abre documentos, percebe que buscava a coisa errada e reformula a busca. O resultado é registrado em um Office Action, o parecer oficial, em que a conclusão sobre a novidade precisa se apoiar em fontes concretas.
O PatEx-Gym leva essa lógica para um ambiente interativo. O agente usa ferramentas de busca, "entra" nos documentos, raciocina e, no fim, gera o parecer. Os autores descrevem a tarefa como long-horizon: um erro em uma etapa inicial da busca não se corrige depois com um texto final bem escrito.
Do que o PatEx-Gym é feito
O framework reúne três componentes e se apoia em quatro artefatos:
- PatEx-Bench — benchmark com 1000 tarefas realistas de exame, dois grandes corpora de busca (mais de 1 milhão de patentes e 52 mil artigos científicos) e um ambiente executável. O ambiente permite busca iterativa, visita a documentos, raciocínio e geração de Office Action.
- PASS (Prior-Art Agentic Search Trajectory Synthesis) — método para sintetizar trajetórias de busca para treinamento sem anotação manual. Ele usa as visitas a documentos como sinal implícito de relevância e como âncoras para a obtenção de evidências. Com esses sinais, o método modela três níveis: o comportamento das consultas dentro de um mesmo turno, a evolução da busca entre turnos e a qualidade das evidências e do resultado ao longo de toda a trajetória.
- PatEx-SynData — conjunto de dados obtido pelo PASS a partir de trajetórias selecionadas.
- PatEx-Agent — agente de 4 bilhões de parâmetros, treinado com supervised fine-tuning nessas trajetórias. Os autores o posicionam como uma versão básica e leve.
A jogada do PASS mostra como dispensar a cara anotação manual. Em vez de pedir a especialistas que descrevam o caminho de busca correto, o método considera o simples fato de quais documentos o agente abriu e o trata como indício de que eles eram úteis.
O que os experimentos mostraram
A principal conclusão diz respeito às métricas: a acurácia final da decisão "há novidade ou não" não reflete a qualidade do exame. O modelo pode chegar a um veredicto correto sem ter encontrado os documentos-chave, e esse parecer fica fracamente fundamentado do ponto de vista jurídico. Por isso, o PatEx-Bench avalia também o próprio processo, incluindo a descoberta do estado da técnica anterior.
Essa foi a parte mais difícil. Encontrar documentos relevantes e raros continua sendo um problema até para modelos frontier fortes. Ao mesmo tempo, depois de treinado no PatEx-SynData, o PatEx-Agent de 4B, segundo os autores, apresenta resultado competitivo em comparação com agentes generalistas significativamente maiores. Para uma tarefa profissional restrita, esse é um argumento a favor de modelos pequenos e especializados.
Os autores veem o exame de patentes como um campo de testes exigente para busca agêntica e agentes de deep research. A tarefa combina longas cadeias de ações, relevância ambígua e a necessidade de documentar as conclusões.
Quem pode aproveitar isso já
O código foi publicado no repositório AIforIP/PatEx-Gym, e há também uma página do projeto. Equipes que desenvolvem agentes de deep research ou mecanismos de busca para literatura técnica ganham um ambiente de testes pronto, com mil tarefas e um grande corpus. Escritórios de patentes e firmas de advocacia podem usá-lo para comparar ferramentas não só pelo veredicto, mas também pelas evidências encontradas. Para quem desenvolve modelos, o que mais vale é a abordagem do PASS: ela mostra como construir dados de treinamento para agentes a partir de logs de comportamento, sem anotação manual.
Perguntas frequentes sobre a notícia
Por que os benchmarks antigos não refletiam o trabalho do examinador?
A maioria dos testes atuais entrega ao modelo um conjunto pronto e limitado de candidatos. A tarefa se resume a escolher o documento adequado entre os exibidos. O examinador de verdade trabalha de outra forma. Ele formula uma consulta, analisa os resultados, abre documentos, percebe que buscava a coisa errada e reformula a busca. O resultado é registrado em um Office Action, o parecer oficial, em que a conclusão sobre a novidade precisa se apoiar em fontes concretas. O PatEx-Gym leva essa lógica para um ambiente interativo. O agente usa ferramentas de busca, "entra" nos doc
O que se sabe sobre Do que o PatEx-Gym é feito?
O framework reúne três componentes e se apoia em quatro artefatos: PatEx-Bench — benchmark com 1000 tarefas realistas de exame, dois grandes corpora de busca (mais de 1 milhão de patentes e 52 mil artigos científicos) e um ambiente executável. O ambiente permite busca iterativa, visita a documentos, raciocínio e geração de Office Action. PASS (Prior-Art Agentic Search Trajectory Synthesis) — método para sintetizar trajetórias de busca para treinamento sem anotação manual. Ele usa as visitas a documentos como sinal implícito de relevância e como âncoras para a obtenção de ev
O que os experimentos mostraram?
A principal conclusão diz respeito às métricas: a acurácia final da decisão "há novidade ou não" não reflete a qualidade do exame. O modelo pode chegar a um veredicto correto sem ter encontrado os documentos-chave, e esse parecer fica fracamente fundamentado do ponto de vista jurídico. Por isso, o PatEx-Bench avalia também o próprio processo, incluindo a descoberta do estado da técnica anterior. Essa foi a parte mais difícil. Encontrar documentos relevantes e raros continua sendo um problema até para modelos frontier fortes. Ao mesmo tempo, depois de treinado no PatEx-SynDa
Delegate Deep Research, Coding & Workflows to an AI Agent
Deploy autonomous multi-step execution with NomadNet Agent (agent.nomadnet.ai) — automated web research, data synthesis, code generation, and complex task orchestration.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.