TII lance Falcon Perception, un modèle de 0,6B pour segmenter et localiser des objets à partir de texte

Le 1er avril 2026, TII a présenté Falcon Perception, un modèle multimodal compact de 0,6 milliard de paramètres capable de trouver et de segmenter des objets dans une image à partir d'une simple requête textuelle, sans liste fixe de classes. Pour le marché, c'est un signal important : les tâches de compréhension visuelle, longtemps traitées par des chaînes complexes de blocs distincts, peuvent désormais l'être par une seule architecture commune, sous licence ouverte et sans modèle gigantesque.

La plupart des systèmes de vision par ordinateur actuels restent construits de façon modulaire : un encodeur extrait des caractéristiques visuelles, un autre bloc les mélange au texte, puis un décodeur séparé prédit des boîtes, des masques ou des réponses. Cette approche fonctionne, mais passe mal à l'échelle : chaque nouveau type d'erreur se corrige généralement par un nouveau module, et l'interaction entre langage et image reste limitée. Avec Falcon Perception, l'équipe du Technology Innovation Institute d'Abou Dhabi mise sur la fusion précoce : image et texte entrent dans une même séquence de tokens dès la première couche du transformer.

Sur le plan architectural, le modèle est un unique Transformer doté d'un schéma d'attention hybride. Les tokens d'image se voient mutuellement de manière bidirectionnelle et construisent un contexte visuel global, tandis que les tokens de texte et les tokens spéciaux sont décodés de façon causale, en s'appuyant sur l'image déjà traitée. Pour chaque objet trouvé, le modèle enchaîne quelques étapes courtes : il détermine d'abord les coordonnées du centre, puis la taille, avant de construire le masque de segmentation. Cette interface permet de gérer un nombre variable d'objets, de zéro à des centaines dans une même image, sans rendre la génération de masques trop coûteuse en calcul.

La préparation des données est sérieuse. L'initialisation s'est faite par distillation de DINOv3 et de SigLIP2, afin de combiner de solides caractéristiques visuelles locales et un meilleur ancrage dans le langage. Le modèle a ensuite été entraîné sur un ensemble de 54 millions d'images, 195 millions d'expressions textuelles positives et 488 millions d'exemples hard negative.

Pour l'annotation automatique et la sélection, un ensemble composé de SAM 3, Qwen3-VL-30B et Moondream3 a été utilisé, et les cas litigieux ont été envoyés à une vérification manuelle. Par ailleurs, TII a présenté PBench, un nouveau benchmark de diagnostic qui ventile les résultats par niveau de difficulté : des objets simples aux indices OCR, aux relations spatiales et aux scènes denses comptant des centaines d'instances.

Les métriques sont convaincantes. Sur SA-Co, l'un des benchmarks de segmentation ouverte, Falcon Perception obtient 68,0 de Macro-F1 contre 62,3 pour SAM 3. Le gain est particulièrement net là où « reconnaître l'objet » ne suffit pas : attributs et sous-types, requêtes comportant du texte dans l'image, formulations spatiales comme « la voiture à gauche » ou « la troisième fenêtre à gauche ».

Sur PBench, l'écart est faible sur les objets simples, mais il atteint 21,9 points sur les tâches spatiales, 13,4 sur les requêtes guidées par OCR et 15,8 sur les tâches relationnelles. Le point faible reste pour l'instant la calibration de présence : en MCC, le modèle est devancé par SAM 3, avec 0,64 contre 0,82, c'est-à-dire que dans les scénarios négatifs difficiles, il se trompe encore plus souvent en répondant « l'objet est absent ».

Le modèle a aussi un versant pratique. Falcon Perception est publié sous licence Apache 2.0, disponible sur Hugging Face et GitHub, et conçu non seulement pour les expériences de laboratoire, mais aussi pour un usage applicatif. L'inférence repose sur une pile fondée sur PyTorch FlexAttention et un paged KV cache ; selon l'équipe, sur un H100, les latences typiques sont d'environ 100 ms pour le prefill, d'environ 200 ms pour l'upsampling des caractéristiques et d'environ 50 ms pour le décodage de plusieurs instances. TII a aussi montré que la même recette de fusion précoce se transpose à l'OCR : le modèle compagnon Falcon OCR, de 0,3 milliard de paramètres, obtient 80,3 sur olmOCR et 88,64 sur OmniDocBench.

Le principal enseignement n'est pas que TII ait publié un énième modèle vision-langage compact. Ce qui compte davantage, c'est que Falcon Perception démontre la viabilité d'une approche plus simple et plus cohérente de la compréhension visuelle : une architecture, une pile commune et moins de rustines entre langage et vision. Si l'équipe améliore la calibration de présence et réduit les faux positifs dans les scénarios hard negative, Falcon a une chance de devenir une base solide pour les assistants, la robotique, la recherche visuelle et les interfaces où l'image doit être comprise à partir d'un texte humain plutôt que d'une liste de classes prédéfinie.