NVIDIA dévoile NeMo Retriever, une recherche agentique pour les données d'entreprise complexes

NVIDIA a présenté un nouveau pipeline agentique pour NeMo Retriever, un système de recherche qui ne se limite pas à comparer la proximité sémantique. Au lieu d'une seule requête, il lance une boucle de recherche, d'évaluation des résultats intermédiaires et d'ajustement de la stratégie, ce qui a permis à la solution de prendre la première place du classement ViDoRe v3 et la deuxième sur BRIGHT.

Pourquoi une seule recherche ne suffit pas

Le dense retrieval classique fonctionne bien quand il suffit de trouver des documents proches de la requête par le sens. Dans les scénarios d'entreprise, c'est souvent insuffisant : les documents peuvent être visuellement complexes, les requêtes composées et les réponses dispersées entre plusieurs sources. Dans ces tâches, une simple correspondance d'embeddings ne suffit pas : il faut savoir décomposer la question, vérifier des hypothèses et changer plusieurs fois la direction de la recherche.

NVIDIA décrit cela comme un fossé entre deux types de systèmes. Les retrievers peuvent parcourir rapidement d'énormes volumes de données, mais ne raisonnent presque pas. Les grands modèles de langage savent planifier et tirer des conclusions logiques, mais ne peuvent pas traiter d'emblée des millions de documents. L'agentic retrieval doit combler ce fossé en réunissant les deux approches dans une seule boucle.

Comment fonctionne la boucle

Le pipeline repose sur l'architecture ReACT. L'agent ne reçoit pas la tâche sous la forme « une requête, un résultat » : il agit étape par étape. Il réfléchit, appelle l'outil retrieve(query, top_k), analyse ce qu'il a trouvé et décide de la suite. La réponse finale est assemblée par un outil distinct, final_results, qui renvoie la liste des documents les plus pertinents.

Selon l'équipe, plusieurs schémas utiles sont apparus naturellement au cours du processus :

• génération de requêtes plus précises à mesure que de nouveaux faits apparaissent ;
• reformulation constante jusqu'à ce que le système trouve un signal utile ;
• découpage d'une question complexe en plusieurs sous-tâches simples ;
• reclassement des documents trouvés avant la sélection finale.

Si l'agent atteint la limite d'étapes ou la longueur de contexte, le pipeline ne s'interrompt pas à l'aveugle. Reciprocal Rank Fusion sert de filet de sécurité : les documents reçoivent un score final fondé sur leurs positions dans les différentes tentatives de recherche, et le système renvoie malgré tout un ensemble de résultats cohérent.

Là où le pipeline s'impose

Le principal résultat n'est pas seulement la place au classement, mais la polyvalence. Le même pipeline, sans changer l'architecture de base, a pris la première place sur ViDoRe v3 avec un NDCG@10 de 69,22 et la deuxième sur BRIGHT avec un NDCG@10 de 50,90. Le premier benchmark compte pour les documents d'entreprise visuellement riches et variés ; le second, pour les tâches qui exigent davantage de raisonnement en plusieurs étapes.

Les auteurs ont comparé séparément leur approche à des solutions plus spécialisées. Par exemple, INF-X-Retriever domine BRIGHT avec 63,40, mais sur ViDoRe v3, dans la même configuration avec nemotron-colembed-vl-8b-v2, il a obtenu 62,31, soit moins que le dense retrieval ordinaire sur le même modèle d'embeddings, qui atteint 64,36. NVIDIA s'appuie sur cette comparaison pour défendre une approche généralisable : la boucle agentique se transpose mieux d'un type de tâche à l'autre que des pipelines calibrés pour un seul benchmark.

Autre point notable : l'équipe a remanié l'infrastructure pour gagner en vitesse. Le retriever avait d'abord été placé dans un serveur MCP, ce qui est logique pour donner à un LLM l'accès à des outils externes. Mais en pratique, cela ajoutait des appels réseau superflus, un processus séparé, un risque d'erreurs de configuration silencieuses et de plantages sous charge. Finalement, le schéma MCP a été remplacé par un retriever singleton thread-safe au sein du processus : le modèle et les embeddings sont chargés une seule fois, l'accès est synchronisé par un lock et l'interface retrieve() reste identique. Cela a supprimé toute une classe de problèmes opérationnels et accéléré les expériences.

Le prix de la recherche autonome

NVIDIA écrit sans détour que cette qualité a un prix. L'agentic retrieval est nettement plus lent et plus coûteux que le dense retrieval ordinaire. Sur ViDoRe v3, une requête prenait en moyenne 136,3 secondes, nécessitait environ 760 mille tokens en entrée et 6,3 mille en sortie, et l'agent effectuait en moyenne 9,2 appels de recherche. Pour des tâches en temps réel, c'est un profil lourd, surtout en cas de charge massive.

L'équipe a aussi comparé modèles fermés et ouverts. Sur ViDoRe v3, l'association avec Opus 4.5 s'est révélée la meilleure, mais le passage au modèle open-weight gpt-oss-120b n'a entraîné qu'une baisse modérée de la qualité, de 69,22 à 66,38. Sur BRIGHT, l'écart a été plus marqué, ce qui indique que les tâches de raisonnement complexes dépendent de modèles frontier plus puissants.

La prochaine étape de NVIDIA consiste à tenter de transférer ces schémas agentiques vers des modèles ouverts spécialisés plus compacts, afin de réduire le coût et la latence sans forte perte de qualité.

Ce que cela signifie

La recherche dans les données d'entreprise s'éloigne rapidement du schéma « je saisis une requête, j'obtiens des documents similaires ». NVIDIA montre que le niveau suivant est un agent capable de chercher de façon itérative, de changer de tactique et de combiner raisonnement et retrieval. Pour l'instant, cette approche est coûteuse et lente, mais pour les scénarios complexes à forts enjeux, elle ressemble déjà à une architecture opérationnelle plutôt qu'à une expérience de laboratoire.