WeChat ouvre WeVisOne-VL : détection, masques et matting dans une seule VLM

L'équipe de WeChat a publié WeVisOne-VL (WeChat Vision All-in-One), un modèle vision-langage ouvert. Il couvre en une seule fois tout le spectre de la vision de précision : détection d'objets, localisation à partir d'une description textuelle, comptage, OCR, segmentation et matting. Selon les auteurs, le modèle obtient des résultats de premier plan sur plus de 30 benchmarks, aussi bien au niveau des objets qu'à celui des pixels. Ils soulignent par ailleurs qu'il refuse de manière fiable de répondre lorsque l'objet demandé n'est pas présent sur l'image.

Où les VLM classiques perdent en précision

Les grands modèles multimodaux décrivent bien ce que montre une photo. Dès qu'il faut indiquer où se trouve précisément un objet, compter des éléments identiques ou tracer un contour, la qualité chute nettement. Les auteurs de WeVisOne-VL y voient directement le problème central : les VLM existantes restent peu fiables en perception visuelle fine.

En pratique, l'industrie contourne la difficulté par assemblage. Un modèle de langage gère la compréhension, un détecteur distinct produit les boîtes, un réseau de segmentation séparé génère les masques et un moteur d'OCR lit le texte. Chaque maillon exige ses propres interfaces, et les erreurs s'accumulent le long de la chaîne. WeVisOne-VL tente de ramener ce pipeline à un seul modèle, avec un format de sortie unifié.

Le token <OBJ>, pont vers les pixels

L'idée de base : tout se ramène à une prédiction structurée du token suivant. Le modèle produit les points et les boîtes sous forme d'une séquence ordinaire de caractères contenant les coordonnées. Pour les sorties au niveau du pixel, l'architecture ajoute un décodeur de pixels léger, relié au modèle par un token spécial <OBJ>. La logique est la suivante : lorsque le modèle décide qu'il faut isoler une instance précise, il émet ce token, et le décodeur transforme la représentation associée en masque ou en alpha matte.

Cette conception économise du calcul : la VLM elle-même assume la partie lourde du travail, tandis que le décodeur reste compact. Il opère au niveau des instances, c'est-à-dire que chaque objet trouvé reçoit sa propre sortie en pixels. L'alpha matte sert là où un masque binaire ne suffit pas : cheveux, fourrure, verre, bords semi-transparents. On l'utilise pour détourer des objets en montage et en infographie.

Caractéristiques principales :

• Tâches : détection, referring localization, comptage, OCR, segmentation, matting
• Granularité de sortie : points, boîtes, masques, alpha mattes
• Ajout architectural : décodeur de pixels léger et token spécial <OBJ>
• Entraînement : curriculum SFT en trois étapes, puis RL sur un mélange de tâches
• Évaluation : plus de 30 benchmarks sur des tâches au niveau des objets et des pixels
• Comportement en l'absence de cible : refus stable face aux requêtes portant sur des objets inexistants
• Disponibilité : publication ouverte pour la communauté

Comment le modèle apprend à ne pas inventer

L'entraînement se déroule en deux phases. Il commence par un curriculum SFT en trois étapes, où la difficulté des tâches augmente progressivement. Le modèle est ensuite affiné par RL sur un mélange de tâches, afin qu'une politique unique ne décroche ni en détection, ni en segmentation, ni en OCR.

Les auteurs insistent particulièrement sur les requêtes où l'objet recherché n'existe pas. C'est un point faible classique des détecteurs et des modèles de grounding : demandez de trouver une « voiture rouge » sur une image sans voiture, et beaucoup de systèmes tracent quand même une boîte. En production, ces faux positifs coûtent plus cher que les omissions. Les auteurs estiment donc que la capacité à dire honnêtement « il n'y a rien de tel ici » conditionne le passage de VLM de démonstration à des systèmes destinés à un usage réel.

À quoi cela peut servir en pratique

Les premiers candidats à l'adoption : les éditeurs d'images et de vidéo, qui ont besoin d'un masque de sélection rapide et d'un matte de qualité, ainsi que les applications de recherche par image et de comptage d'objets. S'y ajoutent la gestion documentaire, avec OCR et localisation des champs, et la robotique, où il ne suffit pas de reconnaître un objet : il faut aussi indiquer sa position.

Pour les développeurs, le principal avantage tient à l'ouverture du modèle. Au lieu d'un assemblage de trois ou quatre modèles, ils peuvent en tester un seul et le comparer à leur pipeline actuel sur leurs propres données. C'est précisément ainsi qu'il convient de vérifier les résultats annoncés sur 30+ benchmarks : sur ses propres images, avec de vraies requêtes portant sur des objets absents et en tenant compte de la latence. Pour WeChat, c'est aussi le signe que l'écosystème Tencent joue sérieusement la carte des modèles multimodaux ouverts de perception, et pas seulement celle des interfaces de chat.