Тест 16 моделей на 7 поисковиках: Exa дал в среднем 10,5 балла из 14, SearXNG — около 3

Автор исследования на Хабре прогнал 16 моделей через 7 поисковых инструментов с одним и тем же вопросом о Битрикс24. Агент должен был найти юрлицо и реквизиты, выручку за последний известный год, CEO и CMO, продукты и тарифы, обновления 2026 года, два прошедших и два будущих вебинара, а также упоминания в СМИ за полгода. За каждый из семи пунктов давали 0, 1 или 2 балла, максимум — 14. Эталон автор собрал вручную. Кроме полноты он считал E — число пунктов с проверяемой ошибкой — и «уверенные выдумки»: неверные факты, помеченные моделью как «уверен». Рейтинговая метрика — чистый балл, то есть полнота минус E.

В вопрос заложили ловушки. ООО «БИТРИКС24» в Калининграде — пустой холдинг без сотрудников, а не та компания. Данные о выручке опубликованы только за 2023 год. Директор по маркетингу известен в основном по комментариям в профессиональных СМИ.

Что модели знают без поиска

Сначала восемь моделей отвечали без интернета. Gemini 3.8 Flash дал 5 верных баллов из 14, остальные — 1–3. Sonnet 5.5, Qwen 3.8 Max и GLM-5.3 выдумали ИНН. У Nemotron Super назван ИНН, который принадлежит Сбербанку. Mistral Large 3 запутался в юрлице, MiMo v2.6 Pro честно написал «не знаю» по выручке.

Хуже всех повёл себя gpt-oss:120b: шесть уверенных выдумок, в том числе «релизы 2026 года», четыре несуществующих вебинара и цитаты РИА Новости от 22.10.2026. CEO назвали шесть моделей, текущего CMO — ни одна.

Семь поисковиков: кто что отдаёт

Автор описал инструменты и проверил их на двух бесплатных моделях с минимумом выдумок — dots-3-note и Nemotron 3 Super, по одному прогону на комбинацию.

• Exa — семантический поиск по собственному индексу, отдаёт полный текст и highlights; $10 кредитов в месяц бесплатно. Средний балл 10,5.
• DuckDuckGo (ddgs) — библиотека без ключа, возвращает заголовок, URL и сниппет в 200–300 символов; хрупка из-за блокировок по IP. Средний балл 10,0.
• Keenable — собственный индекс с поиском «на момент даты». Результат 7–8 баллов.
• Tavily — агрегатор до 20 источников, нарезает контент на чанки по 500–800 символов; 1 000 кредитов в месяц. Результат 5–7.
• Firecrawl — скрейпер, а не поисковик: рендерит страницу и отдаёт чистый markdown. В матрице у связки с Parallel — 5–9 баллов.
• SearXNG — self-hosted метапоисковик до 244 источников. Из коробки отдаёт только сниппеты, результат около 3. Автор допускает, что с настройкой он будет лучше.
• Brave Search API — независимый индекс 30+ млрд страниц и эндпоинт /llm/context. Бесплатных 2 000 запросов не хватило, пришлось пополнять счёт на $5, поэтому в матрицу он не вошёл.

Показательный случай с dots: агент сослался на helpdesk.bitrixrix24.ru — домен с опечаткой, который отдавал HTTP 200. Факт оказался неверным, а сам домен может быть фишинговым. Из примерно 66 проверенных через curl URL мёртвых было лишь 2. Основная ошибка — не выдуманная ссылка, а неверное прочтение живой страницы. Автор советует добавлять в обвязку валидацию домена.

Шестнадцать моделей: чтение страниц важнее «ума»

На Exa восемь платных моделей набрали в среднем 11,1 из 14. Затем автор сделал по три прогона на связку. Разброс одной модели составил 3–6 баллов: Sol получал от 7 до 13 на одном промпте. Рейтинг по одному прогону — отчасти лотерея. Итоговые средние по полноте:

• MiMo v2.6 Pro — 12,0, выдумок 0, ≈$0,06 за прогон;
• Nemotron 3 Ultra — около 12,0, выдумок 0 (завершено 2 прогона из 3);
• GLM-5.3 — 11,7, 1 выдумка;
• DeepSeek v4.1 Flash — 11,7, 4 выдумки: высокий балл куплен домыслами;
• Sonnet 5.5 — 11,3, 0 выдумок, ≈$0,16;
• Gemini 3.8 Flash — 11,3, 2 выдумки, ≈$0,05;
• Qwen 3.8 Max — 11,0, 0 выдумок, ≈$0,14;
• dots-3-note — 11,0 и 5 выдумок;
• Sol — 10,7, 0 выдумок, ≈$0,15;
• Qwen 3.8 27B — 10,7, 2 выдумки;
• Luna — 10,3, 1 выдумка, ≈$0,01;
• Gemma 4 31B — 8,7, 3 выдумки;
• Nemotron Super — 8,3, 3 выдумки;
• Inkling — 8,3, 2 выдумки;
• Mistral Large 3 — 7,3, 3 выдумки;
• gpt-oss 120B — 6,0, 6 выдумок.

Анализ tool_calls.json объяснил расклад. Агент делает web_search (найти) и web_extract (прочитать страницу). Qwen Max на Brave делал около 23 поисков и 6 извлечений за 5–6 минут. Inkling и Mistral — по 7 поисков и ни одного извлечения, итог 3,7 и 4,0. Sonnet и Gemini делали 7–11 поисков и 0–1 извлечение за 40–50 секунд: быстро, но на вебинары и СМИ бюджета не хватало. Полнота растёт с числом web_extract, а не с мощностью модели. Подсказки в промпте нестабильны: у Luna совет про вебинары добавил один митап, но полнота упала с 10,3 до 7,7.

Снимки источников и сбой Brave

Когда код сам скачивал источники в snapshot.json, а модель лишь извлекала поля, рейтинг перемешался. Gemini 3.8 Flash на снимке DDG получил 12 баллов без ошибок, а на живом Brave — 9,3. Mistral и Gemma на снимке поднялись до 10,7, а Nemotron 3 Super, наоборот, упал с 9,0 на живом Brave до 3,3–3,7. DeepSeek: 11,7 на Exa, 6,7 на снимке DDG, 10,7 на снимке Brave. По режимам средняя полнота: Exa — 10,1, Brave — 8,9, снимок DDG — 9,2, снимок Brave — 8,6. Снимок Brave почти не покрыл СМИ: в 34 из 45 прогонов пункт не заполнен.

Типичные ошибки: выручка «4,6 млрд за 2024» вместо 4,57 млрд за 2023, путаница Битрикс24 с CMS «1С-Битрикс» и ловушка с калининградским ООО на Inkling, Mistral, Gemma, Nemotron Super и gpt-oss. Отдельный инцидент: после исчерпания лимита Brave вернул HTTP 402, детектор ловил только 429, и 9 из 42 прогонов прошли без поиска.

Ограничения очевидны: один тестовый кейс, малое число прогонов, ручная оценка с помощью Grok Bot. Практический вывод для тех, кто строит агентский поиск: не доверяйте одному прогону, считайте уверенные выдумки отдельно и оставляйте агенту бюджет на чтение страниц.