LlamaIndex ParseBench : comment tester le parsing de documents avec Python et Hugging Face

LlamaIndex ParseBench est un banc d'essai prêt à l'emploi pour vérifier dans quelle mesure les modèles et les systèmes d'OCR analysent correctement les documents PDF. Un nouveau guide pratique montre comment construire en Python un pipeline de base : charger le dataset depuis Hugging Face, le ramener à une structure unique et comparer la qualité de l'extraction de texte.

Comment ParseBench est structuré

Le guide commence par charger directement le dataset llamaindex/ParseBench depuis Hugging Face. Le code met d'abord en place l'environnement Python, importe datasets, pandas, matplotlib, PyMuPDF et RapidFuzz, puis parcourt le contenu du dépôt, qui comprend des fichiers JSONL et des PDF. Sur Hugging Face, le jeu de données a déjà belle allure : environ 169 000 lignes réparties en plusieurs types de tâches. C'est important, car ParseBench ne stocke pas seulement du texte, mais aussi des scénarios où il faut tenir compte des tableaux, des diagrammes et de la position des éléments sur la page.

• text_content — l'essentiel des exemples
• text_formatting — tâches de structure et de mise en forme
• table — extraction de données tabulaires
• chart — reconnaissance de valeurs dans les graphiques
• layout — travail sur la disposition spatiale des blocs

Ensuite, toutes les structures imbriquées sont aplaties dans un tableau unique. Cette étape ressemble à un détail technique, mais elle permet de voir la couverture par colonne et de repérer vite les champs contenant les chemins de PDF, le texte de référence, les règles de vérification et les coordonnées de mise en page. En pratique, ParseBench passe d'un ensemble de fichiers à une matrice d'analyse exploitable, où l'on peut lancer un baseline, comparer différents parseurs et choisir quels exemples conviennent au test d'OCR et lesquels conviennent aux modèles qui ont besoin d'une compréhension visuelle de la page. Le dataset lui-même ressemble déjà à un vrai benchmark, pas à une collection de documents pris au hasard.

Évaluation de base de la qualité

L'étape suivante consiste à construire un baseline léger, sans artifice lourd. Dans l'exemple, le code tente pour chaque entrée de retrouver le PDF associé, le télécharge depuis Hugging Face et extrait le texte des premières pages avec PyMuPDF. Il cherche ensuite un champ de référence adapté, comme expected, target, reference, markdown ou answer, et compare son contenu au texte extrait.

Pour la métrique, on utilise la similarité token set de RapidFuzz. Ce n'est pas un score parfait au sens académique, mais il suffit pour repérer vite où un parseur simple fonctionne déjà de façon acceptable et où il s'effondre. Outre un similarity_score, le pipeline conserve des statuts techniques et les caractéristiques de base de chaque exemple. Si le PDF est introuvable, l'entrée est signalée à part. Si une ligne n'a pas de référence, elle est exclue de l'évaluation complète. Si tout se passe bien, on peut tracer la distribution des scores et consulter le résultat moyen selon les différentes dimensions du dataset.

Cette approche met immédiatement en évidence les points faibles du baseline : le texte s'extrait plutôt facilement, mais la structure des tableaux, les valeurs des graphiques et la mise en page exacte exigent souvent des modèles d'OCR ou de vision-langage plus puissants.

Préparer l'étape des modèles

Le guide ne s'arrête pas au baseline. Après l'évaluation initiale, les mêmes données servent à construire des prompts pour des systèmes de parsing externes, des moteurs d'OCR aux modèles VLM. Le gabarit y insère la dimension du dataset, un indice tiré du champ de règles et un aperçu de la réponse de référence, puis demande de renvoyer le résultat sous plusieurs formes : représentation du document en markdown, tableaux en JSON, valeurs des graphiques en JSON et notes de mise en page là où la structure visuelle de la page compte.

C'est un bon pont entre l'extraction de texte classique et les tâches où le document doit devenir exploitable dans des scénarios d'agents. À la fin, le guide compare aussi les meilleurs et les pires cas selon la similarité, enregistre un CSV à plat avec des exemples et laisse en pratique un point de départ prêt pour les expérimentations. ParseBench sert donc ici non seulement de dataset à parcourir, mais d'environnement de travail complet pour comparer des parseurs, régler des métriques et préparer les entrées de la prochaine génération de document AI.

Ce que cela change

LlamaIndex ParseBench rend l'évaluation du document parsing nettement plus concrète. Au lieu de démos abstraites, une équipe peut vérifier rapidement comment sa stack gère le texte, les tableaux, les graphiques et la mise en page, puis passer, sans long montage manuel, à un benchmarking reproductible pour le RAG, les systèmes d'agents et d'autres usages autour des documents.