Box intègre Nvidia Nemotron à la recherche pour agents : 4 fois plus rapide et 90 % de tokens en moins

Si vous avez déjà conçu des agents s’appuyant sur des fichiers d’entreprise, vous connaissez le problème : l’agent reçoit une question, explore le stockage et charge un demi-document dans le contexte pour trouver un seul paragraphe. C’est lent, coûteux et propice aux erreurs. Box a décidé de traiter ce problème au niveau de la plateforme en intégrant les embeddings Nvidia Nemotron au cœur de son produit.

Ce qui a été présenté

Lors de sa conférence développeurs, Box a présenté la fonctionnalité Box Content Retrieval. Au lieu de transmettre aux agents des documents entiers, elle leur fournit les passages les plus pertinents pour une requête ou une tâche donnée. Le PDG Aaron Levie l’a expliqué ainsi : l’agent n’a plus besoin de « lire chaque document » ; il reçoit directement les extraits nécessaires.

Les chiffres annoncés viennent de Nvidia. Kari Briski, vice-présidente chargée de l’IA générative, s’attend à des réponses quatre fois plus rapides, à 20 % d’erreurs en moins et à une réduction de 90 % du nombre de tokens consommés. La fonctionnalité sera proposée à tous les clients de l’offre Enterprise Advance au début de l’année prochaine.

Comment cela fonctionne en pratique

Imaginez un juriste demandant à un agent de retrouver toutes les clauses de limitation de responsabilité dans une centaine de contrats. Une recherche classique par mots-clés manquera les formulations employant d’autres termes ou rédigées dans une autre langue. Les embeddings fonctionnent autrement : ils convertissent le texte en une représentation numérique de son sens. Des clauses sémantiquement proches peuvent ainsi être retrouvées même si elles sont formulées différemment.

Nemotron Embed est une famille de modèles à poids ouverts qui utilisent un LLM pour prétraiter les données. L’agent exploite ensuite le résultat de ce traitement pendant la recherche. Selon l’article, la version de Nemotron publiée en juillet a pris la tête du benchmark RTEB, qui mesure la qualité du retrieval. Les grands laboratoires ont souvent sous-estimé ce type de modèles, tandis que Nvidia en a fait un axe d’investissement important.

L’économie de tokens est ici assez logique. Si le contexte contient un seul extrait pertinent plutôt qu’un long fichier, le modèle lit moins de texte. Il en résulte des gains de vitesse et de coût, tandis qu’un contexte moins bruité entraîne généralement moins d’erreurs.

Limites et pièges

Les modèles seuls ne suffisent pas. Même si Nemotron est disponible gratuitement, Box s’appuie sur ses propres métadonnées et sur son système d’autorisations d’accès ; reproduire une telle solution à partir de zéro ne sera pas simple. Levie affirme qu’environ cinq technologies différentes sont regroupées derrière une API simple. Pour Box, c’est un avantage défensif ; pour les équipes qui construisent un système comparable en interne, c’est un avertissement sur l’ampleur du travail.

Les chiffres appellent également une réserve. Les promesses de performances 4x, de −20 % d’erreurs et de −90 % de tokens viennent de Nvidia et du fournisseur lui-même, alors que le produit n’est pas encore sorti. Les conditions de mesure sont inconnues : il faudra donc vérifier les résultats avec ses propres données. En outre, la fonctionnalité ne sera disponible que dans l’offre haut de gamme ; pour les autres clients de Box, elle reste une option future.

Que faire concrètement

Premièrement, si vous développez des agents ayant accès à des documents, considérez le retrieval comme une couche distincte et non comme un détail annexe du modèle. C’est souvent cette couche qui détermine à la fois la facture de tokens et la qualité des réponses.

Deuxièmement, les modèles d’embeddings ouverts Nemotron peuvent déjà être testés sur votre propre corpus et comparés à votre solution actuelle. Il faut accorder une attention particulière aux données multilingues, pour lesquelles les mots-clés montrent leurs limites.

Troisièmement, les équipes produit doivent se rappeler que les autorisations d’accès et les métadonnées font partie intégrante de la qualité de la recherche. Un agent qui trouve la bonne information sans tenir compte des personnes autorisées à la voir est inutile pour une entreprise. C’est précisément l’élément que Box présente comme son avantage, et celui qu’il faut examiner lorsque l’on choisit entre une plateforme prête à l’emploi et une solution développée en interne.