SenseNova-MARS : SenseTime ouvre son code pour apprendre à l'IA à voir et à raisonner à la fois

Pendant qu'OpenAI et Google se disputent le titre de celui qui restreint le plus l'accès à ses modèles phares, le géant technologique chinois SenseTime a choisi une autre voie. L'entreprise a ouvert le code source de son système SenseNova-MARS et affirme avoir fait sauter le « plafond » de la recherche multimodale et de l'inférence logique. Ce n'est pas un énième moteur de recherche d'images, mais une tentative sérieuse d'apprendre aux réseaux de neurones à comprendre le monde de façon aussi globale que le fait un humain.

Pour mesurer la portée de cette publication, il faut rappeler le contexte. SenseTime développe depuis longtemps sa gamme de modèles SenseNova, mais c'est MARS (Multimodal Analysis and Retrieval System) qui fait le pont entre la simple reconnaissance d'objets et l'analyse complexe. Auparavant, une IA pouvait dire : « Dans cette vidéo, une personne traverse la route.

» Désormais, MARS peut expliquer pourquoi cette action peut être dangereuse dans une situation précise, en s'appuyant sur le code de la route et la vitesse des véhicules. C'est ce raisonnement multimodal que tous les laboratoires du monde s'arrachent aujourd'hui. Qu'est-ce qui a changé exactement ?

SenseTime a introduit une architecture qui permet au modèle non seulement de faire correspondre des requêtes textuelles à des caractéristiques visuelles, mais aussi de construire des chaînes logiques. Cela s'attaque au principal défaut des systèmes multimodaux actuels : leur superficialité. MARS travaille sur la vidéo et les images au niveau du sens, et pas seulement des pixels.

Si vous cherchez un moment précis dans une immense archive d'enregistrements, le système le retrouvera non pas grâce à un mot-clé, mais grâce à la description d'une situation qui exige de comprendre le contexte. Pourquoi est-ce important maintenant ? Le marché chinois de l'IA subit une pression colossale des sanctions et de la concurrence interne d'Alibaba et de Baidu.

Dans ces conditions, l'open source devient une arme redoutable. En offrant MARS à la communauté, SenseTime recrute de fait des milliers de développeurs dans le monde pour tester et améliorer gratuitement sa technologie. C'est un classique : si l'on ne peut pas gagner la course fermée à la puissance, on prend la tête du mouvement ouvert.

Pour l'industrie, c'est le signe que l'ère des simples chatbots touche définitivement à sa fin. L'avenir appartient aux systèmes qui « voient » et « comprennent » en même temps. Si, auparavant, créer une recherche vidéo avancée exigeait des millions de dollars pour développer des algorithmes propriétaires, la barrière à l'entrée s'est brutalement abaissée.

MARS fournit des outils pour des systèmes de sécurité de nouvelle génération, des archives intelligentes et des systèmes de surveillance avancés qui ne se contentent pas de regarder, mais analysent ce qui se passe en temps réel. Reste à voir comment les entreprises occidentales vont réagir. Le caractère fermé de GPT-4o ou de Gemini 1.

5 Pro commence à agacer les développeurs, qui veulent de la flexibilité et la possibilité d'affiner les modèles pour des tâches précises. SenseTime leur offre cette possibilité. Reste certes la question de la qualité, compte tenu du manque des puces les plus puissantes en Chine, mais les choix d'architecture de MARS paraissent très convaincants.

L'essentiel : SenseTime mise sur la massification et l'ouverture. MARS pourra-t-il devenir un standard pour les systèmes multimodaux, ou n'est-ce qu'une tentative de sauver la face dans un contexte d'isolement technologique ? Nous le saurons dans les prochains mois, quand apparaîtront les premiers forks et les solutions tierces fondées sur ce modèle.