LensVLM : un réseau de neurones pour lire du texte dans des images compressées

Des chercheurs d'Apple ont mis au point LensVLM, un réseau de neurones qui apprend à lire de manière fiable du texte dans des images fortement compressées, et qui s'attaque au problème du traitement de longs documents par le canal visuel.

Pourquoi le texte sous forme d'image est prometteur

Les modèles vision-langage (VLM) actuels peuvent percevoir le texte non pas par tokenisation, mais directement comme une image rendue : ils « voient » littéralement ce qui est écrit. C'est une différence fondamentale avec le fonctionnement des modèles de langage traditionnels.

Dans l'approche classique, chaque caractère ou sous-mot devient un token numérique, et un long document produit une longue séquence. Cela sollicite la mémoire et limite la fenêtre de contexte. Les encodeurs visuels des VLM fonctionnent autrement : ils produisent toujours un nombre fixe de tokens à partir de l'image, quelle que soit la quantité de texte qu'elle contient.

D'où une idée séduisante : en abaissant la résolution de rendu, on peut loger plus de texte dans le même « budget de tokens ». La résolution devient un curseur souple du degré de compression. Pour les livres, les rapports PDF et les autres longs documents, cette approche est potentiellement bien plus économe que la tokenisation standard.

Pourquoi une forte compression dégrade-t-elle la précision ?

Avec une compression agressive, la précision des VLM chute brutalement. La cause est mécanique : les caractères de l'image rétrécissent sous la résolution effective de l'encodeur visuel. Les lettres se fondent, deviennent indiscernables, et le modèle perd la capacité de lire le texte, même s'il « voit » techniquement l'image.

On aboutit à un compromis peu souhaitable : plus la compression est forte, plus il tient de texte dans le contexte, mais moins le modèle le comprend. Cette barrière a jusqu'ici limité l'usage pratique de l'approche visuelle pour les longs documents.

Comment LensVLM résout-il le problème ?

L'idée clé d'Apple ML Research est un mécanisme d'expansion sélective du contexte (selective context expansion). Au lieu de traiter toute l'image de façon uniforme, le modèle apprend à la scanner de manière adaptative, en portant une attention supplémentaire aux zones de texte dense ou petit.

Le nom LensVLM renvoie à la métaphore de la lentille optique : comme un objectif se concentre sur un détail et ignore le reste, le modèle « fait la mise au point » sur les fragments critiques. Ainsi, la compression globale reste élevée, tandis que la résolution locale n'augmente que là où c'est vraiment nécessaire.

Le cadre repose sur deux composants complémentaires :

• Cadre d'inférence — définit la façon dont le modèle parcourt l'image lors de l'inférence : quand et de combien accroître l'attention portée à une région donnée
• Recette de post-entraînement (post-training recipe) — adapte les VLM existants au travail sur des représentations compressées du texte, sans exiger d'entraînement from scratch

Cette approche rend LensVLM pratique : il peut être intégré à des modèles existants sans développer une nouvelle architecture de zéro.

Ce que cela signifie

LensVLM montre que le canal visuel peut devenir une véritable alternative à la tokenisation pour les longs documents. Si l'approche passe à l'échelle, elle pourrait changer la manière dont les VLM traitent les livres, les fichiers PDF et d'autres documents : moins de tokens, un contexte plus large, une meilleure précision de lecture.

Un réseau de neurones peut-il lire du texte dans des images compressées ?

Oui, LensVLM est entraîné spécialement pour cela. Il perçoit le texte comme une image rendue et peut le reconnaître de façon fiable même sous forte compression.