Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

L'embedder pplx retrouve le bon scan du premier coup dans 68% des cas, EmbeddingGemma dans 38%

Jusqu'ici, on convertissait d'abord le scan d'un contrat en texte via l'OCR. Désormais, un modèle peut chercher la page directement à partir de son image. Un Data Scientist de Raft Digital Solutions a comparé trois modèles de ce type. Pour une question comme « dans quel contrat la pénalité est-elle de 0,1% par jour ? », pplx-embed-late place la bonne page en première position dans 68% des cas sur DocVQA, contre 38% pour EmbeddingGemma-2. Réduire la page à 1 Mpx n'affecte presque pas la qualité. Pour les scans et les tableaux, mieux vaut choisir pplx, en prévoyant davantage d'espace pour l'index.

Traité par IA depuis Habr AI ; édité par Hamidun News
L'embedder pplx retrouve le bon scan du premier coup dans 68% des cas, EmbeddingGemma dans 38%
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Tableaux de rapports financiers TAT-DQApplx 65%, WeMM-2B 57,8%, EmbeddingGemma-2 30,6%
Chiffre clé #2Graphiques de PIB, recherche par valeur exacte : pplx 82,4%, WeMM-2B 39,7%
Diapositives SlideVQAWeMM-2B 94,6%, pplx quasiment à égalité avec 93,7%

Imaginez une archive de milliers de contrats, de factures et de rapports. Un employé demande : « Dans quel contrat la pénalité de retard est-elle de 0,1% par jour ? », et le système doit renvoyer la bonne page.

En général, on transforme d'abord le scan en texte via l'OCR, on le découpe en segments, puis on les place dans un RAG. Pour du texte continu, cela fonctionne. Mais dans les tableaux, les graphiques et les schémas, le sens tient à la position des valeurs, pas aux mots.

Artiom, Data Scientist chez Raft Digital Solutions, a testé une alternative : des embedders multimodaux, qui construisent un vecteur numérique de la page directement à partir de son image. La métrique principale du test est le hit@1, c'est-à-dire la part des questions dont la bonne page arrive en première position des résultats. Sur les scans DocVQA, le meilleur modèle, pplx-embed-late (appelé simplement pplx dans l'article), obtient 68%, contre 38% pour EmbeddingGemma-2.

Si vous construisez un moteur de recherche documentaire, c'est une indication sur le modèle à essayer en premier.

Les modèles en lice et la méthode de mesure

Trois modèles ont été comparés. WeMM-2B produit un seul vecteur de 2048 dimensions par page et accepte une image accompagnée de texte. EmbeddingGemma-2 produit aussi un seul vecteur, mais de 768 dimensions seulement ; par défaut, l'image occupe 280 tokens sur un budget de 8192. pplx-embed-late fonctionne autrement : elle génère un vecteur par token (de 128 dimensions chacun) et recherche selon le schéma de late interaction (MaxSim), où la proximité entre la question et la page est calculée sur les meilleures paires de tokens. Elle ne prend pas en charge l'entrée mixte « image plus texte ».

Le test est simple : toutes les pages du jeu de données sont converties en vecteurs et stockées dans Qdrant, la question est elle aussi convertie en vecteur, et la base renvoie les 20 pages les plus proches. Si une question a plusieurs pages valides, n'importe laquelle est comptée comme correcte. Les intervalles à 95% ont été calculés par bootstrap sur 2000 répétitions, et chaque exécution comportait un contrôle avec des questions mélangées : son hit@1 doit rester inférieur à 10%, faute de quoi le modèle devine sans s'appuyer sur le sens.

Résultats par type de page

Sur les scans, pplx est en tête. DocVQA : 67,8% pour pplx, 60,5% pour WeMM-2B et 38% pour EmbeddingGemma-2. Sur les scans commerciaux en russe : 89%, 84,6% et 38,2%. Sur le corpus interne de l'entreprise (46 questions) : 78,3%, 60,9% et 21,7%. Les tableaux financiers TAT-DQA reviennent eux aussi à pplx : 65% contre 57,8% et 30,6%.

Pour les graphiques, le tableau est contrasté. Quand la question porte sur l'aspect général, WeMM-2B fait un peu mieux : sur ChartQA, 69,1% contre 61,1% pour pplx et 51,4% pour EmbeddingGemma-2. Mais quand il faut retrouver un graphique à partir d'une valeur exacte, pplx prend l'avantage : sur des graphiques de PIB synthétiques, 82,4% contre 39,7% pour WeMM-2B. Sur des tableaux synthétiques de même type, où seules quelques cellules diffèrent, pplx retrouve la bonne page dans 94,7% des cas, WeMM-2B dans 37,3%.

Pour l'infographie et les présentations, WeMM-2B est le meilleur : 85,2% sur InfoVQA et 94,6% sur SlideVQA, avec pplx quasiment à égalité (84,6% et 93,7%). EmbeddingGemma-2 reste en retrait sur tous les jeux de données réels.

Compression, matériel et réserves

On peut limiter la page à 1 mégapixel : le nombre de tokens, c'est-à-dire de fragments d'image traités par le modèle, est alors divisé par 1,8 à 2,2. Sur les scans, le hit@1 de WeMM-2B ne change pas, tandis que celui de pplx sur DocVQA perd 2 points de pourcentage. À 0,25 Mpx, la qualité chute nettement pour les deux modèles.

Le prix de la précision de pplx, c'est la taille de l'index : un vecteur par token occupe nettement plus de place qu'un seul vecteur par page, et il faut l'intégrer au budget de stockage et de GPU. Si les ressources sont limitées et que la vitesse compte, il reste EmbeddingGemma-2, au prix d'une perte de qualité sensible.

Les chiffres de jeux de données différents ne se comparent pas directement : les pools de pages et les questions ne sont pas les mêmes. Les schémas et les interfaces n'ont été testés que sur des données synthétiques ; il s'agit d'une vérification du mécanisme, pas d'une évaluation sur des documents réels. Le jeu russe ne compte que 10 pages indépendantes et le corpus interne 46 questions, donc les conclusions les concernant sont moins fiables.

En pratique : pour la recherche dans des scans et des tableaux, commencez par pplx-embed-late et estimez à l'avance la taille de l'index. Pour les présentations et les graphiques recherchés « selon leur aspect général », WeMM-2B suffit. Limitez l'image à 1 Mpx et mesurez la qualité sur vos propres documents : l'ordre des modèles peut y différer de celui des jeux de données publics.

Dossier

Questions clés sur cet article

Que sait-on sur Les modèles en lice et la méthode de mesure ?

Trois modèles ont été comparés. WeMM-2B produit un seul vecteur de 2048 dimensions par page et accepte une image accompagnée de texte. EmbeddingGemma-2 produit aussi un seul vecteur, mais de 768 dimensions seulement ; par défaut, l'image occupe 280 tokens sur un budget de 8192.

Que sait-on sur Résultats par type de page ?

Sur les scans, pplx est en tête. DocVQA : 67,8% pour pplx, 60,5% pour WeMM-2B et 38% pour EmbeddingGemma-2. Sur les scans commerciaux en russe : 89%, 84,6% et 38,2%. Sur le corpus interne de l'entreprise (46 questions) : 78,3%, 60,9% et 21,7%. Les tableaux financiers TAT-DQA reviennent eux aussi à pplx : 65% contre 57,8% et 30,6%. Pour les graphiques, le tableau est contrasté.

Que sait-on sur Compression, matériel et réserves ?

On peut limiter la page à 1 mégapixel : le nombre de tokens, c'est-à-dire de fragments d'image traités par le modèle, est alors divisé par 1,8 à 2,2. Sur les scans, le hit@1 de WeMM-2B ne change pas, tandis que celui de pplx sur DocVQA perd 2 points de pourcentage. À 0,25 Mpx, la qualité chute nettement pour les deux modèles.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…