OvisOCR3 : un modèle de 0,8 milliard de paramètres lit les documents mieux que des systèmes spécialisés

L'équipe ATH-MaaS a présenté OvisOCR3, un modèle de reconnaissance et d'analyse de documents pesant seulement 0,8 milliard de paramètres, capable de gérer simultanément cinq tâches différentes et qui, sur de nombreuses métriques, devance des systèmes ultra-spécialisés. Le modèle est disponible en accès libre sur HuggingFace.

Pourquoi un seul petit modèle plutôt que cinq systèmes spécialisés

Habituellement, l'analyse de documents requiert tout un arsenal d'outils : l'un reconnaît le texte imprimé, un autre les tableaux, un troisième est conçu pour extraire des champs de formulaires, un quatrième décrit graphiques et images, un cinquième recolle les tableaux coupés entre deux pages d'un PDF. Maintenir et faire fonctionner cinq modèles coûte plus cher et complique les choses par rapport à un seul. Mais on ne peut pas simplement mélanger toutes ces tâches dans un même jeu d'entraînement : l'annotation complète d'une page représente des milliers de tokens de texte, alors que l'extraction d'un seul champ d'une facture ne compte que quelques mots.

Si l'on calcule la perte d'entraînement token par token, les tâches longues « écrasent » les courtes, et le modèle devient moins performant pour l'extraction ciblée de données.

Les auteurs ont résolu ce problème par un entraînement en quatre étapes. Le modèle, basé sur Qwen3.5-0.

8B, a d'abord suivi un affinage sur 72 millions d'exemples — manuels, rapports, notes manuscrites et photos de documents prises au téléphone. Le jeu de données a ensuite été recomposé pour que chacune des cinq tâches reçoive une part à peu près égale de l'attention du modèle (16 à 23 % des 8,8 millions d'exemples chacune), indépendamment de la longueur des réponses. Sont ensuite intervenus cinq « enseignants » — des modèles distincts de 4 milliards de paramètres, chacun expert dans son domaine restreint.

Ils ont transmis leur savoir au petit modèle final via ce qu'on appelle la distillation sur politique (on-policy distillation) : le modèle apprend à corriger ses propres erreurs sous le contrôle de l'enseignant, plutôt que de simplement reproduire ses réponses. L'étape finale est un apprentissage par renforcement, où chacune des cinq tâches reçoit une récompense distincte, adaptée à sa spécificité.

Ce que le modèle sait faire en pratique

OvisOCR3 couvre cinq domaines :

• Analyse de documents — reconstitue la structure de la page : texte, formules en LaTeX, tableaux en HTML, ordre de lecture et disposition des blocs sur l'image
• Reconnaissance de texte générale (OCR) — dix modes différents : de la simple lecture de texte à la traduction d'inscriptions, la reconnaissance de formules, l'analyse de graphiques et les questions-réponses visuelles avec raisonnement
• Extraction d'informations clés — récupère les champs des formulaires, factures, documents médicaux, selon un schéma défini par l'utilisateur ou en déterminant lui-même ce qui est important dans le document
• Description des images dans les documents — repère photos, illustrations, graphiques et organigrammes sur la page et fournit une courte description textuelle (jusqu'à 100 mots), avec un diagramme de relations pour les organigrammes
• Reconstitution de tableaux entre pages — si un tableau d'un rapport est coupé par un saut de page, le modèle détecte cette rupture et recolle les fragments en un tableau unique

Résultats aux tests

Sur le benchmark OmniDocBench v1.6, qui évalue la précision de reconnaissance du texte, des formules, des tableaux et la justesse de l'ordre de lecture, le modèle obtient 96,74 points sur 100 — le meilleur résultat parmi tous les systèmes testés. Sur trois autres tests d'analyse de documents (PureDocBench, Real5-OmniDocBench, MDPBench), il arrive également en tête devant tous les modèles comparés.

Sur OCRBench v2 — un test qui évalue la reconnaissance de texte en conditions difficiles dans deux langues — OvisOCR3 occupe la première place avec 65,9 points en anglais et 61,3 en chinois. Il devance aussi ses concurrents sur les quatre tests d'extraction d'informations de documents (KIE) ainsi que sur l'OCRBench classique.

Pour la description d'images dans les documents, le modèle affiche la meilleure précision de délimitation des images, avec une qualité de légendes proche des résultats de Qwen3.8-Max — un modèle nettement plus volumineux. Pour la reconstitution de tableaux entre pages, OvisOCR3 devance ses concurrents en précision de reconstruction des liens entre fragments de tableau (CrossTabBench) et en qualité de restauration des tableaux tronqués (MPDocBench-Parse).

Ce que cela signifie pour les ingénieurs

La conclusion pratique : il n'est pas nécessaire de maintenir un zoo de cinq modèles différents pour autant de types de documents — un seul modèle compact de 0,8 milliard de paramètres, correctement entraîné, couvre tout le spectre des tâches avec une qualité comparable à celle de systèmes spécialisés. Cela réduit les coûts d'infrastructure et simplifie le déploiement pour les équipes qui doivent traiter des flux mixtes de documents : scans, photos, formulaires, rapports avec tableaux et graphiques. Les auteurs montrent toutefois clairement que, sans rééquilibrage des données d'entraînement par tâche et sans distillation issue d'enseignants spécialisés, un tel résultat ne serait pas atteignable avec un modèle aussi compact — simplement mélanger les jeux de données ne suffit pas.