X5 Tech et T-Bank affinent la recherche visuelle : ColQwen3 atteint 0,84 nDCG@5
Dans les PDF d'entreprise, la réponse recherchée se cache souvent dans un tableau ou un graphique, et le texte extrait perd les liens entre les chiffres et les légendes. Des auteurs de X5 Tech et de T-Bank ont affiné un modèle de recherche visuelle sur des requêtes de pages créées et vérifiées automatiquement. Sur un corpus de test fermé, ColQwen3-2B a obtenu 0,84 nDCG@5, contre 0,77 pour le meilleur modèle textuel.
Traité par IA depuis Хабр: Машинное обучение ; édité par Hamidun News
Si votre recherche dans les PDF d'entreprise trouve les mots d'un rapport mais passe à côté du bon tableau, la cause peut tenir à la préparation des documents. Lors de l'extraction du texte, la disposition des cellules, le lien entre les légendes et les graphiques et d'autres indices qu'un humain lit sur une page en quelques secondes disparaissent. Roman Makeev (X5 Tech) et Egor Machnev (T-Bank) ont décrit leur travail sur une recherche visuelle qui traite ces documents comme des images de pages.
Le principal résultat de l'annonce publiée : ColQwen3-2B affiné a obtenu 0,84 nDCG@5 sur le corpus fermé X5-private. Le meilleur modèle textuel de la comparaison a atteint 0,77. Pour une équipe qui construit une recherche ou un RAG sur des PDF complexes, c'est une raison de vérifier combien de réponses se perdent avant même la transmission des documents au modèle de langage.
Pourquoi la recherche doit voir la page
Imaginons un rapport de ventes. L'utilisateur demande : « Dans quelle région le chiffre d'affaires a-t-il le plus baissé ? » La réponse se trouve dans un diagramme : les noms des régions sont sous les barres, les valeurs sont indiquées à côté, la période figure dans le titre. Après extraction du texte, ces éléments peuvent devenir une suite de mots et de nombres dans laquelle il est difficile de rétablir les liens.
Il s'agit d'un exemple hypothétique, et non d'un test décrit par les auteurs. Mais il illustre la tâche pratique de la recherche visuelle : exploiter l'apparence de la page là où le texte seul ne suffit pas. Il est particulièrement intéressant de tester cette approche sur des présentations, des rapports et des documents à mise en page dense. Cela dit, trouver la bonne page ne garantit pas la bonne réponse : le composant suivant du système doit encore lire correctement son contenu.
L'article examine ColPali et ColQwen3, ainsi que leur adaptation à un corpus spécialisé en russe. D'après l'annonce disponible, on ne peut pas conclure que n'importe quel modèle visuel surpasse n'importe quelle recherche textuelle. Le résultat confirmé est plus étroit : un modèle précis, après affinage, a obtenu le meilleur score de la comparaison présentée sur un seul jeu de documents fermé.
Les requêtes d'entraînement sont créées automatiquement
Pour adapter un modèle de recherche, il faut des exemples indiquant quelles requêtes doivent mener à quels documents. Les rédiger à la main mobilise des collaborateurs qui comprennent le contenu des pages et les besoins réels des utilisateurs.
Les auteurs proposent une méthodologie où les documents servent de base à la génération et à la vérification automatiques de requêtes portant sur les pages. Il n'est pas nécessaire de rédiger les requêtes d'entraînement à la main. C'est la partie la plus utile à transposer : l'équipe obtient un moyen de préparer des données pour son propre corpus spécialisé, au lieu de se contenter de choisir un modèle prêt à l'emploi d'après le classement d'autrui.
Toutefois, la vérification automatique doit elle-même être évaluée. L'annonce ne précise pas comment elle fonctionne, quelles erreurs elle écarte, ni dans quelle mesure les requêtes créées ressemblent aux demandes réelles des utilisateurs. Avant un déploiement, il vaut mieux examiner manuellement un échantillon : la requête doit avoir une réponse sur la page, correspondre à une tâche professionnelle et ne pas révéler la réponse par sa formulation.
Ce que signifie l'avantage et comment le vérifier
Le nDCG@5 évalue la qualité de l'ordre des cinq premiers résultats en tenant compte de leur pertinence. La valeur 0,84 ne se lit pas comme « 84 % de réponses correctes ». L'écart avec 0,77 est de 0,07 point de métrique ; il caractérise les résultats de la recherche, et non la précision de l'ensemble du système de réponse.
Les auteurs précisent que X5-private n'a pas participé à l'entraînement. C'est un détail important, mais un corpus fermé limite la vérification indépendante. L'annonce ne donne pas non plus la taille de l'échantillon, la robustesse statistique de l'avantage, la latence ni le coût de traitement des documents.
La prochaine étape pratique consiste à constituer un petit test à partir de vos propres requêtes et pages dont les réponses sont vérifiées. Comparez votre recherche textuelle actuelle à la recherche visuelle sur les mêmes documents, en distinguant tableaux, graphiques et texte ordinaire. Mesurez ensuite le temps d'indexation, la vitesse de réponse et la qualité de la réponse finale. Si l'amélioration se concentre sur les pages complexes, vous aurez une base pour choisir l'approche selon les types de documents. La décision de déployer doit reposer sur cette mesure, et non sur un seul chiffre issu d'un corpus tiers.
Source : annonce de l'article sur Habr.
- 28 avr. 2026Hugging Face explique comment affiner des modèles multimodaux d'embeddings et de reranking
- 28 oct. 2026T-Bank remplace un essaim de LLM par un seul modèle 32B et rend les requêtes 2,8–3,9 fois moins chères
- 9 juil. 2026L'IA dans la banque : Axos intègre la fintech Arc Technologies pour les startups tech
- 2 nov. 2026L'étiquette « aucun document de référence » perd en précision, de 0,68 à 0,10, avec les retrievers puissants
Questions clés sur cet article
Pourquoi la recherche doit voir la page?
Imaginons un rapport de ventes. L'utilisateur demande : « Dans quelle région le chiffre d'affaires a-t-il le plus baissé ? » La réponse se trouve dans un diagramme : les noms des régions sont sous les barres, les valeurs sont indiquées à côté, la période figure dans le titre. Après extraction du texte, ces éléments peuvent devenir une suite de mots et de nombres dans laquelle il est difficile de rétablir les liens. Il s'agit d'un exemple hypothétique, et non d'un test décrit par les auteurs.
Que sait-on sur Les requêtes d'entraînement sont créées automatiquement ?
Pour adapter un modèle de recherche, il faut des exemples indiquant quelles requêtes doivent mener à quels documents. Les rédiger à la main mobilise des collaborateurs qui comprennent le contenu des pages et les besoins réels des utilisateurs. Les auteurs proposent une méthodologie où les documents servent de base à la génération et à la vérification automatiques de requêtes portant sur les pages. Il n'est pas nécessaire de rédiger les requêtes d'entraînement à la main.
Que sait-on sur Ce que signifie l'avantage et comment le vérifier ?
Le nDCG@5 évalue la qualité de l'ordre des cinq premiers résultats en tenant compte de leur pertinence. La valeur 0,84 ne se lit pas comme « 84 % de réponses correctes ». L'écart avec 0,77 est de 0,07 point de métrique ; il caractérise les résultats de la recherche, et non la précision de l'ensemble du système de réponse. Les auteurs précisent que X5-private n'a pas participé à l'entraînement. C'est un détail important, mais un corpus fermé limite la vérification indépendante.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.