Test de 16 modèles sur 7 moteurs de recherche : Exa obtient en moyenne 10,5 points sur 14, SearXNG environ 3

Un auteur de Habr a fait passer 16 modèles par 7 outils de recherche, avec une seule et même question sur Bitrix24. L'agent devait trouver l'entité juridique et ses coordonnées, le chiffre d'affaires de la dernière année connue, le CEO et le CMO, les produits et les tarifs, les mises à jour de 2026, deux webinaires passés et deux à venir, ainsi que les mentions dans les médias sur six mois. Chacun des sept points rapportait 0, 1 ou 2 points, pour un maximum de 14.

L'auteur a constitué la référence à la main. Outre l'exhaustivité, il a compté E, le nombre de points comportant une erreur vérifiable, et les « inventions assurées » : des faits erronés que le modèle a lui-même marqués comme « sûr ». La métrique de classement est le score net, c'est-à-dire l'exhaustivité moins E.

La question contenait des pièges. L'OOO « BITRIX24 » de Kaliningrad est une holding vide, sans salariés, et non la société recherchée. Les données de chiffre d'affaires ne sont publiées que pour 2023. Le directeur marketing est surtout connu par ses commentaires dans la presse professionnelle.

Ce que les modèles savent sans recherche

Huit modèles ont d'abord répondu sans accès à internet. Gemini 3.8 Flash a obtenu 5 points corrects sur 14, les autres entre 1 et 3. Sonnet 5.5, Qwen 3.8 Max et GLM-5.3 ont inventé un INN. Nemotron Super a cité un INN qui appartient à Sberbank. Mistral Large 3 s'est embrouillé sur l'entité juridique, tandis que MiMo v2.6 Pro a écrit honnêtement « je ne sais pas » à propos du chiffre d'affaires.

gpt-oss:120b s'est montré le pire : six inventions assurées, dont des « sorties de 2026 », quatre webinaires inexistants et des citations de RIA Novosti datées du 22.10.2026. Six modèles ont nommé le CEO, aucun le CMO actuel.

Sept moteurs de recherche : qui renvoie quoi

L'auteur a décrit les outils et les a testés sur deux modèles gratuits produisant très peu d'inventions, dots-3-note et Nemotron 3 Super, avec un run par combinaison.

• Exa : recherche sémantique sur son propre index, renvoie le texte intégral et des highlights ; $10 de crédits gratuits par mois. Score moyen : 10,5.
• DuckDuckGo (ddgs) : bibliothèque sans clé, qui renvoie un titre, une URL et un snippet de 200 à 300 caractères ; fragile à cause des blocages par IP. Score moyen : 10,0.
• Keenable : index propre avec recherche « à une date donnée ». Résultat : 7 à 8 points.
• Tavily : agrégateur jusqu'à 20 sources, qui découpe le contenu en chunks de 500 à 800 caractères ; 1 000 crédits par mois. Résultat : 5 à 7.
• Firecrawl : un scraper, pas un moteur de recherche : il rend la page et renvoie du markdown propre. Dans la matrice, le couple avec Parallel obtient 5 à 9 points.
• SearXNG : métamoteur auto-hébergé couvrant jusqu'à 244 sources. Par défaut, il ne renvoie que des snippets ; résultat : environ 3. L'auteur admet qu'avec un réglage approprié, il pourrait faire mieux.
• Brave Search API : index indépendant de plus de 30 milliards de pages et endpoint /llm/context. Les 2 000 requêtes gratuites n'ont pas suffi, il a fallu recharger le compte de $5, et l'outil n'a donc pas été intégré à la matrice.

Un cas révélateur avec dots : l'agent a cité helpdesk.bitrixrix24.ru, un domaine avec faute de frappe qui répondait en HTTP 200. Le fait s'est révélé faux, et le domaine lui-même pourrait servir au phishing. Sur environ 66 URL vérifiées avec curl, seules 2 étaient mortes. L'erreur principale n'est pas un lien inventé, mais une mauvaise lecture d'une page bien réelle. L'auteur conseille d'ajouter une validation de domaine dans le harnais de l'agent.

Seize modèles : lire les pages compte plus que l'« intelligence »

Sur Exa, huit modèles payants ont obtenu en moyenne 11,1 sur 14. L'auteur a ensuite effectué trois runs par combinaison. L'écart d'un même modèle atteint 3 à 6 points : Sol a obtenu de 7 à 13 avec le même prompt. Un classement fondé sur un seul run relève en partie de la loterie. Moyennes finales d'exhaustivité :

• MiMo v2.6 Pro — 12,0, 0 invention, ≈$0,06 par run ;
• Nemotron 3 Ultra — environ 12,0, 0 invention (2 runs terminés sur 3) ;
• GLM-5.3 — 11,7, 1 invention ;
• DeepSeek v4.1 Flash — 11,7, 4 inventions : le score élevé s'achète à coups de conjectures ;
• Sonnet 5.5 — 11,3, 0 invention, ≈$0,16 ;
• Gemini 3.8 Flash — 11,3, 2 inventions, ≈$0,05 ;
• Qwen 3.8 Max — 11,0, 0 invention, ≈$0,14 ;
• dots-3-note — 11,0 et 5 inventions ;
• Sol — 10,7, 0 invention, ≈$0,15 ;
• Qwen 3.8 27B — 10,7, 2 inventions ;
• Luna — 10,3, 1 invention, ≈$0,01 ;
• Gemma 4 31B — 8,7, 3 inventions ;
• Nemotron Super — 8,3, 3 inventions ;
• Inkling — 8,3, 2 inventions ;
• Mistral Large 3 — 7,3, 3 inventions ;
• gpt-oss 120B — 6,0, 6 inventions.

L'analyse de tool_calls.json explique ce classement. L'agent dispose de web_search (trouver) et de web_extract (lire une page).

Qwen Max sur Brave a effectué environ 23 recherches et 6 extractions en 5 à 6 minutes. Inkling et Mistral ont fait 7 recherches chacun et aucune extraction, pour des scores de 3,7 et 4,0. Sonnet et Gemini ont fait 7 à 11 recherches et 0 à 1 extraction en 40 à 50 secondes : rapide, mais le budget n'a pas suffi pour les webinaires et les médias.

L'exhaustivité augmente avec le nombre de web_extract, pas avec la puissance du modèle. Les indications dans le prompt sont instables : chez Luna, le conseil sur les webinaires a fait ajouter un seul meetup, mais l'exhaustivité est tombée de 10,3 à 7,7.

Snapshots de sources et panne de Brave

Quand le code téléchargeait lui-même les sources dans snapshot.json et que le modèle se contentait d'en extraire les champs, le classement s'est brouillé. Gemini 3.

8 Flash a obtenu 12 points sans erreur sur le snapshot DDG, contre 9,3 sur Brave en direct. Mistral et Gemma sont montés à 10,7 sur le snapshot, tandis que Nemotron 3 Super a, au contraire, chuté de 9,0 sur Brave en direct à 3,3–3,7. DeepSeek : 11,7 sur Exa, 6,7 sur le snapshot DDG, 10,7 sur le snapshot Brave.

Exhaustivité moyenne par mode : Exa — 10,1, Brave — 8,9, snapshot DDG — 9,2, snapshot Brave — 8,6. Le snapshot Brave a à peine couvert les médias : dans 34 runs sur 45, ce point n'est pas renseigné.

Erreurs typiques : un chiffre d'affaires de « 4,6 Md pour 2024 » au lieu de 4,57 Md pour 2023, la confusion de Bitrix24 avec le CMS « 1C-Bitrix », et le piège de l'OOO de Kaliningrad sur Inkling, Mistral, Gemma, Nemotron Super et gpt-oss. Incident à part : une fois la limite épuisée, Brave a renvoyé un HTTP 402, alors que le détecteur ne repérait que le 429 ; 9 runs sur 42 se sont donc déroulés sans recherche.

Les limites sont évidentes : un seul cas de test, peu de runs, une évaluation manuelle assistée par Grok Bot. Conclusion pratique pour ceux qui construisent une recherche agentique : ne pas se fier à un seul run, compter les inventions assurées à part et laisser à l'agent un budget pour lire les pages.