Prueba de 16 modelos en 7 buscadores: Exa obtuvo una media de 10,5 puntos de 14; SearXNG, en torno a 3

Un autor de Habr pasó 16 modelos por 7 herramientas de búsqueda con la misma pregunta sobre Bitrix24. El agente debía encontrar la entidad jurídica y sus datos registrales, los ingresos del último año conocido, el CEO y el CMO, los productos y las tarifas, las actualizaciones de 2026, dos webinars ya celebrados y dos futuros, y las menciones en medios de los últimos seis meses. Cada uno de los siete puntos valía 0, 1 o 2 puntos, con un máximo de 14.

El autor elaboró la referencia a mano. Además de la completitud, contó E (el número de puntos con un error verificable) y las «invenciones seguras»: hechos falsos que el modelo marcó como «seguro». La métrica de ranking es la puntuación neta, es decir, la completitud menos E.

La pregunta incluía trampas. ООО «БИТРИКС24», en Kaliningrado, es un holding vacío sin empleados, no la empresa buscada. Los datos de ingresos solo están publicados para 2023. El director de marketing es conocido sobre todo por sus comentarios en medios especializados.

Qué saben los modelos sin búsqueda

Primero, ocho modelos respondieron sin acceso a internet. Gemini 3.8 Flash obtuvo 5 puntos correctos de 14; el resto, entre 1 y 3. Sonnet 5.5, Qwen 3.8 Max y GLM-5.3 se inventaron el INN. Nemotron Super dio un INN que pertenece a Sberbank. Mistral Large 3 se confundió con la entidad jurídica, y MiMo v2.6 Pro escribió con honestidad «no lo sé» sobre los ingresos.

El peor fue gpt-oss:120b: seis invenciones seguras, entre ellas «lanzamientos de 2026», cuatro webinars inexistentes y citas de RIA Novosti fechadas el 22.10.2026. Seis modelos nombraron al CEO; ninguno acertó con el CMO actual.

Siete buscadores: qué devuelve cada uno

El autor describió las herramientas y las probó con dos modelos gratuitos con pocas invenciones, dots-3-note y Nemotron 3 Super, con una ejecución por combinación.

• Exa: búsqueda semántica sobre un índice propio; devuelve el texto completo y highlights; ofrece $10 en créditos gratuitos al mes. Puntuación media: 10,5.
• DuckDuckGo (ddgs): biblioteca sin clave que devuelve título, URL y un snippet de 200–300 caracteres; es frágil por los bloqueos por IP. Puntuación media: 10,0.
• Keenable: índice propio con búsqueda «a fecha concreta». Resultado: 7–8 puntos.
• Tavily: agregador de hasta 20 fuentes que trocea el contenido en chunks de 500–800 caracteres; 1 000 créditos al mes. Resultado: 5–7.
• Firecrawl: es un scraper, no un buscador: renderiza la página y devuelve markdown limpio. En la matriz, la combinación con Parallel obtiene 5–9 puntos.
• SearXNG: metabuscador autoalojado con hasta 244 fuentes. En su configuración por defecto solo devuelve snippets y obtiene en torno a 3. El autor admite que con ajustes podría rendir mejor.
• Brave Search API: índice independiente de más de 30 mil millones de páginas y endpoint /llm/context. Las 2 000 consultas gratuitas no bastaron y hubo que recargar la cuenta con $5, por lo que no entró en la matriz.

Un caso ilustrativo con dots: el agente citó helpdesk.bitrixrix24.ru, un dominio con errata que devolvía HTTP 200. El dato resultó ser falso y el propio dominio podría ser de phishing. De unas 66 URL comprobadas con curl, solo 2 estaban caídas. El error principal no es un enlace inventado, sino una lectura incorrecta de una página real. El autor aconseja añadir validación de dominios al entorno del agente.

Dieciséis modelos: leer páginas importa más que la «inteligencia»

Con Exa, ocho modelos de pago lograron una media de 11,1 puntos de 14. Después, el autor hizo tres ejecuciones por combinación. La dispersión de un mismo modelo fue de 3–6 puntos: Sol obtuvo entre 7 y 13 con el mismo prompt. Un ranking basado en una sola ejecución es en parte una lotería. Medias finales de completitud:

• MiMo v2.6 Pro — 12,0, 0 invenciones, ≈$0,06 por ejecución;
• Nemotron 3 Ultra — en torno a 12,0, 0 invenciones (se completaron 2 de 3 ejecuciones);
• GLM-5.3 — 11,7, 1 invención;
• DeepSeek v4.1 Flash — 11,7, 4 invenciones: la puntuación alta se compró con suposiciones;
• Sonnet 5.5 — 11,3, 0 invenciones, ≈$0,16;
• Gemini 3.8 Flash — 11,3, 2 invenciones, ≈$0,05;
• Qwen 3.8 Max — 11,0, 0 invenciones, ≈$0,14;
• dots-3-note — 11,0 y 5 invenciones;
• Sol — 10,7, 0 invenciones, ≈$0,15;
• Qwen 3.8 27B — 10,7, 2 invenciones;
• Luna — 10,3, 1 invención, ≈$0,01;
• Gemma 4 31B — 8,7, 3 invenciones;
• Nemotron Super — 8,3, 3 invenciones;
• Inkling — 8,3, 2 invenciones;
• Mistral Large 3 — 7,3, 3 invenciones;
• gpt-oss 120B — 6,0, 6 invenciones.

El análisis de tool_calls.json explicó el reparto. El agente hace web_search (encontrar) y web_extract (leer la página). Qwen Max con Brave hizo unas 23 búsquedas y 6 extracciones en 5–6 minutos. Inkling y Mistral hicieron 7 búsquedas cada uno y ninguna extracción, con resultados de 3,7 y 4,0. Sonnet y Gemini hicieron 7–11 búsquedas y 0–1 extracciones en 40–50 segundos: rápido, pero no les alcanzó el presupuesto para los webinars y los medios. La completitud crece con el número de web_extract, no con la potencia del modelo. Las pistas en el prompt son inestables: en Luna, el consejo sobre webinars añadió un meetup, pero la completitud cayó de 10,3 a 7,7.

Instantáneas de fuentes y fallo de Brave

Cuando el propio código descargaba las fuentes en snapshot.json y el modelo solo extraía los campos, el ranking se alteró. Gemini 3.8 Flash obtuvo 12 puntos sin errores con la instantánea de DDG, frente a 9,3 con Brave en vivo. Mistral y Gemma subieron a 10,7 con la instantánea, mientras que Nemotron 3 Super, al contrario, cayó de 9,0 con Brave en vivo a 3,3–3,7. DeepSeek: 11,7 con Exa, 6,7 con la instantánea de DDG y 10,7 con la instantánea de Brave. Por modos, la completitud media fue: Exa, 10,1; Brave, 8,9; instantánea de DDG, 9,2; instantánea de Brave, 8,6. La instantánea de Brave apenas cubrió los medios: en 34 de 45 ejecuciones ese punto quedó sin rellenar.

Errores típicos: unos ingresos de «4,6 mil millones en 2024» en lugar de 4,57 mil millones en 2023, la confusión de Bitrix24 con el CMS «1С-Битрикс» y la trampa de la ООО de Kaliningrado en Inkling, Mistral, Gemma, Nemotron Super y gpt-oss. Un incidente aparte: tras agotarse el límite, Brave devolvió HTTP 402, el detector solo captaba el 429 y 9 de 42 ejecuciones se hicieron sin búsqueda.

Las limitaciones son evidentes: un único caso de prueba, pocas ejecuciones y una evaluación manual con ayuda de Grok Bot. La conclusión práctica para quienes construyen búsqueda con agentes: no se fíen de una sola ejecución, cuenten las invenciones seguras por separado y dejen al agente presupuesto para leer páginas.