Агентный поиск на open-source моделях: кого нашёл, сколько потратил и где всё сломалось

Разработчик с Habr провёл серию экспериментов над агентным поиском на бюджетных open-source моделях. Главная идея: понять минимальный технологический стек для надёжного поиска информации с проверяемыми источниками — без выдуманных ссылок. Задача была конкретной: найти контакты HR и специалистов по ИИ в компании Сбер, чтобы понять, какой минимум инструментов нужен агенту для достоверного поиска в интернете.

Стек за $20

Автор выбрал минимальный набор инструментов. Agent Hermes — агентная система с инструментами поиска, открытия страниц и записи результатов. Ollama — провайдер open-source моделей с бесплатным облачным тарифом (все шесть моделей первых двух этапов работали на free tier). OpenRouter — маркетплейс моделей для доступа к платным запросам и JEV. JEV — малая модель-судья, которая не сама ищет, а проверяет найденных людей по трём критериям: подтверждение роли в компании (0–1), категория специалиста (HR/AI/ML/другое), работает ли там сейчас (0–1). Grok bot от X/Cursor — система для оркестрации агентов и управления экспериментом. Поиск шёл через SearXNG (прокси) и Яндекс как основной поисковик, потому что Google блокировал запросы капчей.

Первый опыт: голая модель vs скилы

Автор проверил одну модель (gemma4:31b) на конкретной задаче: найти 10 известных HR Сбера через developers.sber.ru. Без скилов модель находила почти всех нужных людей (полнота 0,97), но с 8 лишними результатами (точность 0,68). Добавление скилов повышало точность до 0,88, но замедляло поиск с 52 до 121 секунды. Лучший результат: голая модель + JEV-фильтр — полнота 0,97, точность 0,97, стоимость примерно $0,001 за прогон. Вывод: узкое место — не модель, а её обвязка.

Второй опыт: шесть моделей на двух задачах

Далее тестировались шесть open-source моделей на двух вариантах:

• H1 (найти HR и рекрутеров): gemma4:31b нашла 3 подтверждённых контакта (лучший результат), nemotron-3-super — 1, gpt-oss:120b — 1, gpt-oss:20b — 0, nemotron-3-nano:30b — 1, nemotron-3-ultra — 0–4. Вывод: поиск HR практически не сработал ни у какой модели.

• H2 (найти AI/ML-специалистов): Только три модели прошли порог в 5 подтверждённых контактов в обоих прогонах. gemma4:31b находила 8–15 контактов (разброс в 1,9 раза). nemotron-3-super — 6–10. gpt-oss:120b — 6–7 контактов, самая стабильная, 66,5% результатов с официальных сайтов Сбера, 113 секунд на поиск.

nemotron-3-ultra находила больше всех (30–33 человека), но качество ниже: JEV принимала только 7–8, а стоимость была высокой ($0,19–0,38 за прогон). Nemotron-3-nano:30b выдумала одну ссылку — модель взяла адрес не из результатов поиска. Gpt-oss:20b оказалась нестабильной: три из четырёх прогонов вернули неправильный JSON. Выдуманных ссылек практически не было во всех остальных случаях.

Почему Яндекс, а не Google

Google и Bing блокировали запросы агентов капчей. Custom Search API Google закрывается 1 января 2027 и недоступен для новых клиентов. Официальный API для полного веба требует минимум $30 000 в месяц. Bing Search API закрыт с 11 августа 2025. В 2026 году Google ломал обходы SearXNG минимум пять раз, с августа добавил проверку TLS-отпечатков клиента. Яндекс индексирует Рунет лучше: Habr, hh.ru, vc.ru, TAdviser, Rusprofile попадают в выдачу релевантными. На публичных SearXNG-инстансах (октябрь 2026) средняя ошибка: Яндекс 0%, Google 10%, DuckDuckGo 60%, Brave 85%.

Платные модели

Автор также проверил фронтир-модели: Deepseek, Kimi K3, GLM-5.3 (первый раунд) и Mimo, GPT-6 Luna, Gemini 3.8 flash, Claude Sonn (второй раунд). Полные результаты платных моделей указаны в исходной статье.

Выводы

Новое открытие: узкое место агентного поиска — это не качество модели, а её обвязка (скилы и инструменты). Голая модель плюс дешёвый внешний фильтр работает лучше, чем модель со сложными встроенными скилами. Поиск HR через открытые источники практически невозможен. Выдуманных ссылек можно избежать почти совсем при правильной фильтрации.