L'embedder pplx retrouve le bon scan du premier coup dans 68% des cas, EmbeddingGemma dans 38%
Jusqu'ici, on convertissait d'abord le scan d'un contrat en texte via l'OCR. Désormais, un modèle peut chercher la page directement à partir de son image. Un Data Scientist de Raft Digital Solutions a comparé trois modèles de ce type. Pour une question comme « dans quel contrat la pénalité est-elle de 0,1% par jour ? », pplx-embed-late place la bonne page en première position dans 68% des cas sur DocVQA, contre 38% pour EmbeddingGemma-2. Réduire la page à 1 Mpx n'affecte presque pas la qualité. Pour les scans et les tableaux, mieux vaut choisir pplx, en prévoyant davantage d'espace pour l'index.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez une archive de milliers de contrats, de factures et de rapports. Un employé demande : « Dans quel contrat la pénalité de retard est-elle de 0,1% par jour ? », et le système doit renvoyer la bonne page.
En général, on transforme d'abord le scan en texte via l'OCR, on le découpe en segments, puis on les place dans un RAG. Pour du texte continu, cela fonctionne. Mais dans les tableaux, les graphiques et les schémas, le sens tient à la position des valeurs, pas aux mots.
Artiom, Data Scientist chez Raft Digital Solutions, a testé une alternative : des embedders multimodaux, qui construisent un vecteur numérique de la page directement à partir de son image. La métrique principale du test est le hit@1, c'est-à-dire la part des questions dont la bonne page arrive en première position des résultats. Sur les scans DocVQA, le meilleur modèle, pplx-embed-late (appelé simplement pplx dans l'article), obtient 68%, contre 38% pour EmbeddingGemma-2.
Si vous construisez un moteur de recherche documentaire, c'est une indication sur le modèle à essayer en premier.
Les modèles en lice et la méthode de mesure
Trois modèles ont été comparés. WeMM-2B produit un seul vecteur de 2048 dimensions par page et accepte une image accompagnée de texte. EmbeddingGemma-2 produit aussi un seul vecteur, mais de 768 dimensions seulement ; par défaut, l'image occupe 280 tokens sur un budget de 8192. pplx-embed-late fonctionne autrement : elle génère un vecteur par token (de 128 dimensions chacun) et recherche selon le schéma de late interaction (MaxSim), où la proximité entre la question et la page est calculée sur les meilleures paires de tokens. Elle ne prend pas en charge l'entrée mixte « image plus texte ».
Le test est simple : toutes les pages du jeu de données sont converties en vecteurs et stockées dans Qdrant, la question est elle aussi convertie en vecteur, et la base renvoie les 20 pages les plus proches. Si une question a plusieurs pages valides, n'importe laquelle est comptée comme correcte. Les intervalles à 95% ont été calculés par bootstrap sur 2000 répétitions, et chaque exécution comportait un contrôle avec des questions mélangées : son hit@1 doit rester inférieur à 10%, faute de quoi le modèle devine sans s'appuyer sur le sens.
Résultats par type de page
Sur les scans, pplx est en tête. DocVQA : 67,8% pour pplx, 60,5% pour WeMM-2B et 38% pour EmbeddingGemma-2. Sur les scans commerciaux en russe : 89%, 84,6% et 38,2%. Sur le corpus interne de l'entreprise (46 questions) : 78,3%, 60,9% et 21,7%. Les tableaux financiers TAT-DQA reviennent eux aussi à pplx : 65% contre 57,8% et 30,6%.
Pour les graphiques, le tableau est contrasté. Quand la question porte sur l'aspect général, WeMM-2B fait un peu mieux : sur ChartQA, 69,1% contre 61,1% pour pplx et 51,4% pour EmbeddingGemma-2. Mais quand il faut retrouver un graphique à partir d'une valeur exacte, pplx prend l'avantage : sur des graphiques de PIB synthétiques, 82,4% contre 39,7% pour WeMM-2B. Sur des tableaux synthétiques de même type, où seules quelques cellules diffèrent, pplx retrouve la bonne page dans 94,7% des cas, WeMM-2B dans 37,3%.
Pour l'infographie et les présentations, WeMM-2B est le meilleur : 85,2% sur InfoVQA et 94,6% sur SlideVQA, avec pplx quasiment à égalité (84,6% et 93,7%). EmbeddingGemma-2 reste en retrait sur tous les jeux de données réels.
Compression, matériel et réserves
On peut limiter la page à 1 mégapixel : le nombre de tokens, c'est-à-dire de fragments d'image traités par le modèle, est alors divisé par 1,8 à 2,2. Sur les scans, le hit@1 de WeMM-2B ne change pas, tandis que celui de pplx sur DocVQA perd 2 points de pourcentage. À 0,25 Mpx, la qualité chute nettement pour les deux modèles.
Le prix de la précision de pplx, c'est la taille de l'index : un vecteur par token occupe nettement plus de place qu'un seul vecteur par page, et il faut l'intégrer au budget de stockage et de GPU. Si les ressources sont limitées et que la vitesse compte, il reste EmbeddingGemma-2, au prix d'une perte de qualité sensible.
Les chiffres de jeux de données différents ne se comparent pas directement : les pools de pages et les questions ne sont pas les mêmes. Les schémas et les interfaces n'ont été testés que sur des données synthétiques ; il s'agit d'une vérification du mécanisme, pas d'une évaluation sur des documents réels. Le jeu russe ne compte que 10 pages indépendantes et le corpus interne 46 questions, donc les conclusions les concernant sont moins fiables.
En pratique : pour la recherche dans des scans et des tableaux, commencez par pplx-embed-late et estimez à l'avance la taille de l'index. Pour les présentations et les graphiques recherchés « selon leur aspect général », WeMM-2B suffit. Limitez l'image à 1 Mpx et mesurez la qualité sur vos propres documents : l'ordre des modèles peut y différer de celui des jeux de données publics.
- 9 oct. 2026Développement LLM en 2026 : RAG, agents et choix des modèles
- 31 juil. 2026Perplexity lance pplx : un CLI pour son Search API, directement dans le terminal, à 5 $ les 1000 requêtes
- 27 oct. 2026Meta ouvre Muse Spark (816B), Reflection publie Beam sous Apache 2.0
- 27 févr. 2026Perplexity lance pplx-embed, des modèles d'embeddings conçus pour la recherche à l'échelle du web
Questions clés sur cet article
Que sait-on sur Les modèles en lice et la méthode de mesure ?
Trois modèles ont été comparés. WeMM-2B produit un seul vecteur de 2048 dimensions par page et accepte une image accompagnée de texte. EmbeddingGemma-2 produit aussi un seul vecteur, mais de 768 dimensions seulement ; par défaut, l'image occupe 280 tokens sur un budget de 8192.
Que sait-on sur Résultats par type de page ?
Sur les scans, pplx est en tête. DocVQA : 67,8% pour pplx, 60,5% pour WeMM-2B et 38% pour EmbeddingGemma-2. Sur les scans commerciaux en russe : 89%, 84,6% et 38,2%. Sur le corpus interne de l'entreprise (46 questions) : 78,3%, 60,9% et 21,7%. Les tableaux financiers TAT-DQA reviennent eux aussi à pplx : 65% contre 57,8% et 30,6%. Pour les graphiques, le tableau est contrasté.
Que sait-on sur Compression, matériel et réserves ?
On peut limiter la page à 1 mégapixel : le nombre de tokens, c'est-à-dire de fragments d'image traités par le modèle, est alors divisé par 1,8 à 2,2. Sur les scans, le hit@1 de WeMM-2B ne change pas, tandis que celui de pplx sur DocVQA perd 2 points de pourcentage. À 0,25 Mpx, la qualité chute nettement pour les deux modèles.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.