OvisOCR3, avec 0,8 Md de paramètres, prend la tête sur cinq tâches d'OCR à la fois

Une équipe de 15 auteurs a publié OvisOCR3, un modèle de 0,8 Md de paramètres qui traite cinq tâches avec un seul jeu de poids : parsing de documents, OCR généraliste, extraction d'informations clés (KIE), légendes de figures dans les documents et assemblage de tableaux étalés sur plusieurs pages. Sur OmniDocBench v1.6, il obtient 96,74 points. Sur OCRBench v2, il prend la première place avec 65,9 sur le split anglais et 61,3 sur le split chinois. Il se mesure à des VLM généralistes et à des modèles d'OCR très spécialisés, et, d'après les résultats annoncés, ce petit modèle en devance beaucoup.

Cinq enseignants pour un seul élève

L'essentiel du travail tient à la façon dont le modèle a été entraîné. Les auteurs ont d'abord mené un continued pretraining sur un mélange de données réelles et synthétiques, puis ajouté une étape de domain-balanced mid-training. Les tâches diffèrent fortement par le volume de données et la longueur des réponses. Convertir une page entière en balisage produit des milliers de tokens, alors que l'extraction de deux champs d'un ticket de caisse tient en quelques lignes. Sans rééquilibrage, les domaines à réponses longues écraseraient facilement les courts : cette étape égalise la contribution de chacun à l'entraînement.

Vient ensuite une multi-teacher on-policy distillation. Cinq enseignants de domaine, de 4B chacun, transmettent leurs compétences à un modèle généraliste cinq fois plus petit que chacun d'eux. Dans la distillation on-policy, l'élève s'entraîne sur ses propres générations, que les enseignants évaluent. La dernière étape est un mixed-task reinforcement learning avec des récompenses propres à chaque domaine : les tableaux, les légendes et l'extraction de champs reposent sur des critères de qualité différents.

Où OvisOCR3 est en tête

Les auteurs comparent le modèle sur des benchmarks publics et internes couvrant les cinq familles de tâches. Résultats d'après leurs données :

• OmniDocBench v1.6 — score global de 96,74.
• PureDocBench, Real5-OmniDocBench, MDPBench — meilleur score global parmi les modèles comparés.
• OCRBench v2 — première place : 65,9 (split anglais) et 61,3 (split chinois).
• OCRBench — devant tous les modèles de référence.
• Quatre benchmarks KIE — devant les modèles de référence sur chacun d'eux.
• DocFigCapBench — meilleur localization F1 et qualité de légendes proche de Qwen3.8-Max.
• CrossTabBench — première place au Relation F1 pour les tableaux multipages.
• MPDocBench-Parse — meilleur TEDS sur les tableaux tronqués.

Les légendes de figures méritent une mention à part. Avec 0,8B, le modèle rattrape presque Qwen3.8-Max et devance tous les modèles comparés sur la précision de localisation des figures dans la page. Cette tâche, à la frontière entre vision et langage, tourne d'ordinaire à l'avantage des grands VLM généralistes.

Des tableaux qui ne tiennent pas sur une page

Les tableaux sur plusieurs pages restent un point faible de nombreux pipelines d'OCR. Un rapport financier, une fiche technique ou un relevé reportent souvent un tableau sur la page suivante, avec un en-tête répété ou perdu. Un parseur classique y voit deux fragments indépendants, et la structure se désagrège. Les métriques Relation F1 sur CrossTabBench et TEDS sur les tableaux tronqués de MPDocBench-Parse mesurent précisément la capacité à rétablir les liens entre les parties. Être en tête sur ces métriques indique que le modèle comprend le document dans son ensemble, et non page par page.

Qui doit s'y intéresser

Un seul modèle à la place d'un assemblage de modèles spécialisés simplifie l'architecture. Il n'y a plus besoin de maintenir des services distincts pour le parsing, le KIE et les légendes d'images, d'harmoniser leurs formats de sortie ni d'assurer l'astreinte sur chacun. Avec 0,8B, on peut espérer une inférence peu coûteuse et un déploiement sur du matériel modeste, même si les auteurs ne publient pas de comparaison des coûts et qu'il faudra mesurer la vitesse soi-même.

Les équipes qui construisent du RAG sur des PDF, traitent des contrats, des factures et des rapports, ou numérisent des documents en chinois et en anglais tiennent là un candidat pour un test rapide. Mieux vaut commencer par leurs documents les plus difficiles, ceux qui contiennent des tableaux multipages et des figures complexes. Les résultats sur leurs propres données montreront dans quelle mesure les chiffres des benchmarks se transposent en production. La recette elle-même, mêlant enseignants de domaine, distillation et RL avec des récompenses distinctes, semble reproductible pour d'autres tâches multidomaines où il faut faire tenir plusieurs spécialistes dans un seul modèle compact.