Meta présente SAM 3.1 : suivi en temps réel de 16 objets dans les vidéos

Meta a présenté SAM 3.1 — une mise à jour de son modèle Segment Anything Model 3 pour l'analyse vidéo. L'amélioration principale réside dans la nouvelle architecture : le système suit désormais jusqu'à 16 objets en un seul passage de calcul et fonctionne deux fois plus rapidement, atteignant 32 images par seconde sur GPU H100.

Comment fonctionne le multiplexage

Autrefois, l'approche était simple mais inefficace : SAM 3 traitait chaque objet dans la vidéo séparément. Pour suivre 16 objets, 16 passages de calcul étaient nécessaires. C'était lent, nécessitait une énorme quantité de mémoire vidéo GPU et créait des goulots d'étranglement dans le traitement. SAM 3.1 a résolu ce problème grâce au multiplexage — un seul passage traite tous les objets à la fois. Le modèle voit non seulement un objet individuel, mais la scène entière. Cela lui permet d'utiliser le raisonnement global pour un suivi plus précis, en particulier lorsque les objets se chevauchent ou se déplacent dans des conditions complexes.

Le résultat est visible en pratique : sur GPU H100, le système atteint 32 fps au lieu des précédents 16 fps. Mais plus important encore — cela signifie que l'analyse vidéo haute performance nécessite maintenant moins de ressources. SAM 3.1 fonctionne sur des équipements moins puissants, ce qui rend la vision par IA plus accessible aux startups, agences et petites entreprises qui n'avaient auparavant pas les moyens de maintenir leurs propres fermes GPU.

Un système universel pour différentes tâches

SAM 3 n'est pas un outil étroitement spécialisé. C'est une plateforme universelle qui fonctionne aussi bien sur les images statiques que sur les vidéos et accepte les types de données d'entrée les plus variés. Le système comprend les requêtes textuelles : au lieu de demander « trouve un parapluie » (le modèle trouvera n'importe quel parapluie), vous pouvez donner un concept visuel précis — « trouve un parapluie rayé rouge » — et SAM 3 trouvera exactement cet objet.

Au-delà du texte, le modèle fonctionne avec des indices visuels : des masques, des boîtes englobantes, des points sur l'objet, ainsi que des invites exemplaires (échantillons d'objets). Cela a résolu un ancien problème avec les modèles antérieurs de vision par ordinateur. Les anciens systèmes ne fonctionnaient qu'avec un ensemble fixe de catégories : person, car, dog, bicycle.

SAM 3 peut segmenter et suivre tout concept visuel que vous décrivez ou montrez, sans nécessiter de réentraînement sur de nouvelles données.

Où SAM 3.1 est déjà appliqué

Meta intègre déjà SAM 3 dans des produits commerciaux :

• Instagram Edits — de nouveaux effets visuels dynamiques qui ne fonctionnent que sur les objets sélectionnés
• Vibes dans Meta AI — capacités étendues pour créer et éditer du contenu avec l'IA
• Facebook Marketplace — la fonction « View in Room » permet aux acheteurs de visualiser virtuellement les meubles et la décoration dans leur intérieur avant d'acheter
• Segment Anything Playground — une plateforme ouverte à tous où vous pouvez télécharger une vidéo ou une photo et voir la segmentation en temps réel

Playground ne nécessite qu'un navigateur — pas de code, pas de configuration GPU. Cela démocratise l'accès à la vision par ordinateur de pointe.

Ce que cela signifie

L'analyse vidéo basée sur l'IA passe des laboratoires spécialisés et des mégacorporations aux applications de masse. SAM 3.1 n'est pas seulement une accélération et une réduction des coûts, c'est un point d'inflexion. La vision par IA est désormais accessible aux développeurs et aux entreprises de taille moyenne qui n'avaient auparavant pas les moyens de maintenir leurs propres clusters GPU ou d'embaucher des spécialistes en vision par ordinateur. Attendez-vous à l'émergence de nouvelles applications : en sécurité (surveillance vidéo intelligente), en e-commerce (essayage et visualisation), en logistique et en production (contrôle qualité), dans les médias (édition et effets automatisés). SAM 3.1 deviendra la base d'une vague de nouveaux services dans les mois à venir.

*Meta est reconnue comme une organisation extrémiste et interdite en Russie.