Baidu lance Unlimited-OCR 2 : l'OCR jusqu'à 7 fois plus rapide sur 100 pages

Baidu a publié Unlimited-OCR 2, un modèle de reconnaissance de documents d'environ 3 milliards de paramètres, censé gérer des textes de presque n'importe quelle longueur. Selon les mesures de l'entreprise elle-même, sur des documents d'environ 100 pages, le nouveau mécanisme d'attention accélère certaines étapes de décodage jusqu'à 7 fois par rapport à l'attention complète, et jusqu'à 5,6 fois par rapport au mécanisme de la première version. Le code et les poids sont disponibles sous licence MIT, y compris pour un usage commercial.

Le modèle extrait le texte des scans et des PDF, et traite les tableaux, les formules et les documents de plusieurs pages. Mais la qualité de la reconnaissance n'est pas le sujet principal ici. Les auteurs se sont attaqués à un autre problème : ce qui arrive à un OCR basé sur un LLM lorsque le document atteint plusieurs centaines de pages.

Pourquoi un long document met en difficulté les OCR basés sur un LLM

Les modèles d'OCR à base de langage ont un défaut gênant. Plus ils ont lu de pages et plus le texte généré s'allonge, plus l'étape suivante réclame de calcul et de mémoire. Le modèle doit sans cesse consulter un contexte antérieur de plus en plus volumineux, et le coût de chaque nouveau token grimpe.

La première version d'Unlimited-OCR avait déjà colmaté une partie de la brèche : elle limitait le volume d'historique de génération conservé. Restait une seconde source de croissance. Les données visuelles de toutes les pages continuaient de s'accumuler et alourdissaient la charge, si bien que sur de très longs fichiers, le gain butait sur un plafond.

Comment SR-SWA maintient un coût par étape quasi constant

Dans Unlimited-OCR 2, Baidu propose le mécanisme Sparse Reference Sliding Window Attention, abrégé en SR-SWA. L'idée est simple. Pour reconnaître le fragment suivant, le modèle se concentre sur la page en cours et ne consulte qu'un petit ensemble des fragments les plus utiles du reste du document. Au lieu de parcourir indéfiniment l'information accumulée, il travaille avec une mémoire de travail limitée, par exemple 512 tokens de référence.

Résultat : le coût de calcul de chaque étape suivante reste à peu près constant, même quand le document grossit de plusieurs fois. L'analogie parlera à quiconque a déjà recopié un long livre : on regarde avant tout la page en cours, sans relire toutes les précédentes après chaque phrase.

Le modèle traite en outre les pages par blocs qui se chevauchent. Lorsqu'une portion du document est terminée, la mémoire qu'elle occupait peut être libérée. C'est un second levier d'économie, qui s'ajoute à l'attention parcimonieuse.

Principales caractéristiques de la version

• Développeur : Baidu.
• Taille du modèle : environ 3 milliards de paramètres.
• Tâches : texte issu de scans et de PDF, tableaux, formules, documents de plusieurs pages.
• Nouveau mécanisme : Sparse Reference Sliding Window Attention (SR-SWA).
• Mémoire de travail : un ensemble limité de tokens de référence, par exemple 512.
• Accélération sur des documents d'environ 100 pages : jusqu'à 7 fois par rapport à l'attention complète.
• Accélération par rapport au mécanisme précédent : jusqu'à 5,6 fois.
• Traitement des pages : par blocs qui se chevauchent, avec libération de la mémoire.
• Licence : MIT, usage commercial autorisé.
• Ressources : dépôt github.com/baidu/Unlimited-OCR, poids baidu/Unlimited-OCR-2 sur Hugging Face, article sur la première version sur arXiv (2606.23050).

Une réserve s'impose : les chiffres d'accélération portent sur des étapes de décodage isolées et proviennent de Baidu elle-même. Il n'existe pas encore de comparaisons indépendantes, et seule la pratique donnera une image fidèle sur des corpus réels.

À qui le modèle peut servir dès maintenant

Un modèle de 3 milliards de paramètres sous licence MIT peut être déployé en local et intégré à un produit sans casse-tête juridique. C'est un bon candidat pour numériser des archives, des contrats, des recueils scientifiques, des rapports financiers et des manuels techniques, c'est-à-dire partout où des fichiers de plusieurs centaines de pages sont monnaie courante et où les tableaux et les formules ne doivent pas être perdus.

Pour les équipes qui bâtissent des pipelines RAG et des agents au-dessus de documents d'entreprise, la prévisibilité du coût compte. Si le coût d'une étape ne croît pas avec la longueur du fichier, il devient plus simple de planifier le matériel et les délais du traitement par lots. Le plan raisonnable : récupérer les poids sur Hugging Face, les faire tourner sur ses documents les plus lourds, puis comparer la vitesse et la précision avec sa pile OCR actuelle, en particulier sur les tableaux et les formules.