OpenDS-World: melhor agente de IA resolveu 39% das tarefas de busca profunda na web ao vivo

Agentes de Deep Search aprenderam a responder bem a perguntas sobre coleções estáticas de documentos, mas a web ao vivo funciona de outro jeito. A equipe por trás do OpenDS propõe avaliar os agentes onde eles de fato vão operar e lança o benchmark OpenDS-World, com 200 tarefas complexas. O resultado é um choque de realidade: entre os 12 modelos frontier testados, o melhor atingiu 39,0% de acurácia. Humanos, em 1000 tentativas independentes, chegaram a 21,1%.

Por que os testes estáticos deixaram de refletir a realidade

A maioria das avaliações anteriores de deep search se apoiava em um corpus fixo ou em uma busca simplificada. Na web real, o cenário é mais difícil: os fatos necessários estão espalhados por fontes independentes, aparecem em diferentes modalidades e formatos de arquivo, e às vezes só é possível chegar a eles interagindo com a página. É preciso clicar, rolar, abrir anexos, extrair dados de documentos e cruzar as informações entre si.

Por isso, os autores definem a tarefa OpenDS como uma pesquisa em várias etapas na web ao vivo. O agente busca por conta própria em um mecanismo de pesquisa, trabalha com o navegador, processa as evidências encontradas, conecta pedaços de várias fontes e, no fim, é obrigado a dar uma única resposta factual. Nada de "aproximadamente" ou "provavelmente": a resposta precisa ser inequívoca e verificável.

Como o OpenDS-World é estruturado

O benchmark tem 200 tarefas. Elas cobrem diferentes modalidades de informação, formatos de arquivo heterogêneos e cenários em que o acesso aos dados exige ações interativas. Cada tarefa foi verificada de forma independente por humanos, que precisavam confirmar que a cadeia de evidências é válida e que a resposta é única. Para um benchmark na web ao vivo, esse é um requisito essencial. Se a pergunta tem várias respostas corretas, a métrica perde o sentido.

Todos os 12 modelos rodaram no mesmo ambiente, com um conjunto único de ferramentas e um protocolo de execução único. Por isso, as diferenças nos resultados refletem a qualidade dos próprios agentes, e não uma estrutura de apoio bem ajustada.

Principais parâmetros do estudo:

• 200 tarefas com verificação humana independente
• 12 modelos frontier em um ambiente unificado
• melhor resultado de um modelo: 39,0% de acurácia
• avaliação humana: 1000 tentativas independentes, 21,1% de acurácia
• análise em quatro eixos: uso de ferramentas, custo da busca, comportamento no encerramento, recuperação após falhas

Onde os agentes falham

A parte mais interessante do trabalho não é o número final, mas a análise de comportamento. Os autores compararam como os modelos usam as ferramentas, quanto gastam na busca, quando decidem parar e como saem de um beco sem saída depois de um passo malsucedido. O estudo mostrou que as estratégias de pesquisa variam bastante entre os modelos. Alguns se aprofundam nas fontes, outros reformulam as consultas com mais frequência, e outros desistem cedo demais ou, ao contrário, continuam buscando sem chance de chegar a um resultado.

Há dois pontos fracos comuns. O primeiro é a coordenação de ferramentas: busca, navegador e processamento de arquivos precisam ser encadeados de forma coerente, e é nas junções que os agentes perdem informação. O segundo é o gerenciamento de horizonte longo. Quando a tarefa exige dezenas de passos, um erro nas etapas iniciais se arrasta até o final, e o mecanismo de recuperação nem sempre entra em ação.

A comparação entre 39,0% e 21,1% exige cautela: as condições de humanos e agentes diferem em tempo, restrições e hábito de trabalhar com interfaces. Ainda assim, o fato de as tarefas terem se mostrado difíceis para os dois lados indica que o benchmark tem uma régua alta. Não se trata de um teste de erudição, mas de uma prova de resistência e de disciplina de pesquisa.

O que mudar já nos pipelines de agentes

Para equipes que constroem agentes de pesquisa, o OpenDS-World oferece uma referência prática. Primeiro, avaliar o produto em conjuntos estáticos já não basta: é preciso rodar na web ao vivo, com conteúdo não fixo e acesso interativo. Segundo, vale ampliar as métricas. A acurácia que ignora o custo da busca e o número de passos esconde quanto custa cada resposta correta. Terceiro, políticas de parada e de retrocesso são críticas: o agente precisa entender quando é hora de mudar de estratégia e quando é hora de admitir que não há evidências.

Para quem desenvolve modelos, o benchmark funciona como ferramenta de diagnóstico. Ele mostra exatamente onde a qualidade se perde: na escolha da fonte, no trabalho com o arquivo ou no planejamento de uma cadeia longa. É nesses pontos que será preciso concentrar esforços se os agentes quiserem deixar de ser uma demonstração e virar uma ferramenta de trabalho do pesquisador.