OpenDS-World: лучший ИИ-агент решил 39% задач глубокого поиска в живом вебе

Deep Search агенты научились красиво отвечать на вопросы по статичным коллекциям документов, но живой интернет устроен иначе. Команда авторов OpenDS предлагает проверять агентов там, где они реально будут работать, и выпускает бенчмарк OpenDS-World из 200 сложных задач. Результат отрезвляет: из 12 протестированных frontier-моделей лучшая достигла 39,0% точности. Люди в 1000 независимых попыток набрали 21,1%.

Почему статичные тесты перестали отражать реальность

Большинство прежних оценок deep search опирались на фиксированный корпус или упрощённый поиск. В реальном вебе всё хуже: нужные факты разбросаны по независимым источникам, лежат в разных модальностях и форматах файлов, а добраться до них иногда можно только через взаимодействие со страницей. Нужно кликать, листать, открывать вложения, вытаскивать данные из документов и сопоставлять их между собой.

Поэтому авторы формулируют задачу OpenDS как многошаговое исследование в живой сети. Агент самостоятельно ищет через поисковик, работает с браузером, обрабатывает найденные свидетельства, связывает кусочки из нескольких источников и в конце обязан назвать один фактический ответ. Никакой «примерно» и «вероятно»: ответ должен быть однозначным и проверяемым.

Как устроен OpenDS-World

Бенчмарк состоит из 200 задач. Они покрывают разные информационные модальности, разнородные форматы файлов и сценарии, где доступ к данным требует интерактивных действий. Каждую задачу независимо проверяли люди: нужно было подтвердить, что цепочка доказательств валидна, а ответ единственный. Для бенчмарка на живом вебе это ключевое требование. Если у вопроса несколько корректных ответов, метрика теряет смысл.

Все 12 моделей запускали в одинаковой среде: единый набор инструментов и единый протокол выполнения. Различия в результатах поэтому отражают качество самих агентов, а не удачную обвязку.

Ключевые параметры исследования:

• 200 задач с независимой человеческой верификацией
• 12 frontier-моделей в унифицированной среде
• лучший результат модели: 39,0% точности
• человеческая оценка: 1000 независимых попыток, 21,1% точности
• анализ по четырём осям: использование инструментов, стоимость поиска, поведение при завершении, восстановление после сбоев

Где агенты ломаются

Самая интересная часть работы — не итоговая цифра, а разбор поведения. Авторы сравнивали, как модели используют инструменты, сколько тратят на поиск, когда решают остановиться и как выбираются из тупика после неудачного шага. Выяснилось, что исследовательские стратегии у моделей сильно отличаются. Одни углубляются в источники, другие чаще переформулируют запросы, третьи слишком рано сдаются или, наоборот, продолжают поиск без шансов на результат.

Общие слабые места два. Первое — координация инструментов: поиск, браузер и обработка файлов нужно соединять в связную цепочку, и на стыках агенты теряют информацию. Второе — управление длинным горизонтом. Когда задача требует десятков шагов, ошибка на раннем этапе тянется до финала, а механизм восстановления срабатывает не всегда.

Сравнение 39,0% и 21,1% требует осторожности: условия для людей и для агентов различаются по времени, ограничениям и привычке работать с интерфейсами. Но сам факт, что задачи оказались трудными для обеих сторон, говорит о высокой планке бенчмарка. Это не тест на эрудицию, а проверка выносливости и дисциплины исследования.

Что менять в агентных пайплайнах уже сейчас

Для команд, которые строят research-агентов, OpenDS-World даёт практичный ориентир. Во-первых, оценивать продукт на статичных наборах уже недостаточно: нужен прогон на живой сети с нефиксированным контентом и интерактивным доступом. Во-вторых, метрики стоит расширять. Точность без учёта стоимости поиска и числа шагов скрывает, во что обходится каждый верный ответ. В-третьих, критичны политики остановки и отката: агент должен понимать, когда пора менять стратегию, а когда признать, что доказательств нет.

Для разработчиков моделей бенчмарк превращается в диагностический инструмент. Он показывает, где именно теряется качество: на выборе источника, на работе с файлом или на планировании длинной цепочки. Именно туда и придётся вкладывать усилия, если агенты должны перестать быть демонстрацией и стать рабочим инструментом исследователя.