OpenDS-World: el mejor agente de IA resolvió el 39% de las tareas de búsqueda profunda en la web real

Los agentes de Deep Search han aprendido a responder con soltura preguntas sobre colecciones estáticas de documentos, pero la web real funciona de otra manera. El equipo detrás de OpenDS propone evaluar a los agentes allí donde van a trabajar de verdad y publica OpenDS-World, un benchmark de 200 tareas complejas. El resultado invita a la cautela: de los 12 modelos frontier evaluados, el mejor alcanzó un 39,0% de precisión. Las personas, en 1000 intentos independientes, lograron un 21,1%.

Por qué las pruebas estáticas dejaron de reflejar la realidad

La mayoría de las evaluaciones anteriores de deep search se apoyaban en un corpus fijo o en una búsqueda simplificada. En la web real todo es más difícil: los datos necesarios están repartidos entre fuentes independientes, en distintas modalidades y formatos de archivo, y a veces solo se llega a ellos interactuando con la página. Hay que hacer clic, desplazarse, abrir adjuntos, extraer datos de documentos y cotejarlos entre sí.

Por eso los autores plantean la tarea OpenDS como una investigación de varios pasos en la web en vivo. El agente busca por su cuenta con un buscador, trabaja con el navegador, procesa las evidencias que encuentra, enlaza fragmentos de varias fuentes y, al final, está obligado a dar una única respuesta factual. Nada de «aproximadamente» ni «probablemente»: la respuesta debe ser inequívoca y verificable.

Cómo está construido OpenDS-World

El benchmark consta de 200 tareas. Cubren diversas modalidades de información, formatos de archivo heterogéneos y escenarios en los que acceder a los datos exige acciones interactivas. Cada tarea fue revisada de forma independiente por personas, que debían confirmar que la cadena de evidencias era válida y que la respuesta era única. En un benchmark sobre la web real, este requisito es clave: si una pregunta tiene varias respuestas correctas, la métrica pierde sentido.

Los 12 modelos se ejecutaron en el mismo entorno, con un conjunto de herramientas único y un protocolo de ejecución común. Por tanto, las diferencias en los resultados reflejan la calidad de los propios agentes y no un montaje favorable.

Parámetros clave del estudio:

• 200 tareas con verificación humana independiente
• 12 modelos frontier en un entorno unificado
• mejor resultado de un modelo: 39,0% de precisión
• evaluación humana: 1000 intentos independientes, 21,1% de precisión
• análisis en cuatro ejes: uso de herramientas, coste de la búsqueda, comportamiento al terminar y recuperación tras fallos

Dónde fallan los agentes

Lo más interesante del trabajo no es la cifra final, sino el análisis del comportamiento. Los autores compararon cómo usan los modelos las herramientas, cuánto gastan en la búsqueda, cuándo deciden detenerse y cómo salen de un callejón sin salida tras un paso fallido. Resultó que las estrategias de investigación varían mucho de un modelo a otro. Unos profundizan en las fuentes, otros reformulan las consultas con más frecuencia, y otros se rinden demasiado pronto o, al contrario, siguen buscando sin posibilidad de éxito.

Hay dos puntos débiles comunes. El primero es la coordinación de herramientas: el buscador, el navegador y el procesamiento de archivos deben encadenarse de forma coherente, y en las uniones los agentes pierden información. El segundo es la gestión del horizonte largo. Cuando una tarea requiere decenas de pasos, un error temprano se arrastra hasta el final y el mecanismo de recuperación no siempre se activa.

La comparación entre el 39,0% y el 21,1% exige prudencia: las condiciones de las personas y de los agentes difieren en tiempo, restricciones y costumbre de trabajar con interfaces. Aun así, el hecho de que las tareas resultaran difíciles para ambos indica que el listón del benchmark es alto. No mide erudición: pone a prueba la resistencia y la disciplina de investigación.

Qué cambiar ya en los pipelines de agentes

Para los equipos que construyen agentes de investigación, OpenDS-World ofrece una referencia práctica. Primero, evaluar el producto con conjuntos estáticos ya no basta: hace falta probarlo en la web real, con contenido no fijo y acceso interactivo. Segundo, conviene ampliar las métricas. La precisión sin tener en cuenta el coste de la búsqueda y el número de pasos oculta lo que cuesta cada respuesta correcta. Tercero, son críticas las políticas de parada y de reversión: el agente debe saber cuándo toca cambiar de estrategia y cuándo reconocer que no hay pruebas.

Para los desarrolladores de modelos, el benchmark funciona como herramienta de diagnóstico. Muestra dónde se pierde exactamente la calidad: en la elección de la fuente, en el trabajo con un archivo o en la planificación de una cadena larga. Ahí habrá que concentrar el esfuerzo si se quiere que los agentes dejen de ser una demostración y se conviertan en una herramienta de trabajo para el investigador.