Recherche agentique sur des modèles open-source : qui a été trouvé, combien ça a coûté et où tout a déraillé

Un développeur de Habr a mené une série d'expériences sur la recherche agentique avec des modèles open-source à petit budget. L'idée principale : identifier la pile technologique minimale nécessaire pour une recherche d'informations fiable, avec des sources vérifiables — sans liens inventés. La tâche était concrète : retrouver les contacts des RH et des spécialistes IA chez Sber, afin de déterminer le minimum d'outils dont un agent a besoin pour mener une recherche fiable sur internet.

Une pile technologique à 20 $

L'auteur a choisi un ensemble minimal d'outils. Agent Hermes — un système agentique doté d'outils de recherche, d'ouverture de pages et d'enregistrement des résultats. Ollama — un fournisseur de modèles open-source avec une offre cloud gratuite (les six modèles des deux premières étapes ont tourné sur le tier gratuit).

OpenRouter — une place de marché de modèles permettant l'accès à des requêtes payantes et à JEV. JEV — un petit modèle-juge qui ne fait pas lui-même la recherche, mais vérifie les personnes trouvées selon trois critères : confirmation du rôle dans l'entreprise (0–1), catégorie du spécialiste (RH/AI/ML/autre), activité actuelle dans l'entreprise (0–1). Grok bot, de X/Cursor, pour orchestrer les agents et piloter l'expérience.

La recherche passait par SearXNG (proxy) et Yandex comme moteur principal, car Google bloquait les requêtes avec un captcha.

Première expérience : modèle nu vs skills

L'auteur a testé un seul modèle (gemma4:31b) sur une tâche précise : retrouver 10 RH connus de Sber via developers.sber.ru. Sans skills, le modèle retrouvait presque toutes les personnes recherchées (rappel de 0,97), mais avec 8 résultats superflus (précision de 0,68). L'ajout de skills a fait grimper la précision à 0,88, mais a ralenti la recherche de 52 à 121 secondes. Le meilleur résultat : modèle nu + filtre JEV — rappel de 0,97, précision de 0,97, coût d'environ 0,001 $ par exécution. Conclusion : le goulot d'étranglement n'est pas le modèle, mais son environnement logiciel.

Deuxième expérience : six modèles sur deux tâches

Six modèles open-source ont ensuite été testés sur deux variantes :

• H1 (trouver des RH et recruteurs) : gemma4:31b a trouvé 3 contacts confirmés (meilleur résultat), nemotron-3-super — 1, gpt-oss:120b — 1, gpt-oss:20b — 0, nemotron-3-nano:30b — 1, nemotron-3-ultra — 0 à 4. Conclusion : la recherche de RH n'a pratiquement fonctionné pour aucun modèle.

• H2 (trouver des spécialistes IA/ML) : seuls trois modèles ont franchi le seuil de 5 contacts confirmés lors des deux exécutions. gemma4:31b a trouvé 8 à 15 contacts (écart d'un facteur 1,9). nemotron-3-super — 6 à 10. gpt-oss:120b — 6 à 7 contacts, le plus stable, avec 66,5 % des résultats provenant des sites officiels de Sber, en 113 secondes de recherche.

nemotron-3-ultra a trouvé le plus de monde (30 à 33 personnes), mais avec une qualité inférieure : JEV n'en validait que 7 à 8, pour un coût élevé (0,19 à 0,38 $ par exécution). Nemotron-3-nano:30b a inventé un lien — le modèle a pris une adresse qui ne provenait pas des résultats de recherche. Gpt-oss:20b s'est révélé instable : trois exécutions sur quatre ont renvoyé un JSON incorrect. Dans tous les autres cas, les liens inventés ont été quasiment inexistants.

Pourquoi Yandex plutôt que Google

Google et Bing bloquaient les requêtes des agents par captcha. L'API Custom Search de Google ferme le 1er janvier 2027 et n'est plus accessible aux nouveaux clients. L'API officielle pour une recherche sur l'ensemble du web exige au minimum 30 000 $ par mois.

L'API Bing Search a été fermée le 11 août 2025. En 2026, Google a cassé les contournements de SearXNG au moins cinq fois, et a ajouté, depuis août, une vérification des empreintes TLS côté client. Yandex indexe mieux le Runet : Habr, hh.

ru, vc.ru, TAdviser, Rusprofile ressortent de façon pertinente dans les résultats. Sur les instances publiques de SearXNG (octobre 2026), le taux d'erreur moyen est de 0 % pour Yandex, 10 % pour Google, 60 % pour DuckDuckGo et 85 % pour Brave.

Modèles payants

L'auteur a également testé des modèles de pointe : Deepseek, Kimi K3, GLM-5.3 (première série) et Mimo, GPT-6 Luna, Gemini 3.8 flash, Claude Sonn (deuxième série). Les résultats complets de ces modèles payants figurent dans l'article original.

Conclusions

Une découverte majeure : le goulot d'étranglement de la recherche agentique n'est pas la qualité du modèle, mais son environnement logiciel (skills et outils). Un modèle nu associé à un filtre externe bon marché fonctionne mieux qu'un modèle doté de skills intégrés complexes. La recherche de RH via des sources ouvertes est pratiquement impossible. Les liens inventés peuvent être presque totalement évités avec un filtrage adéquat.