Virage multimodal : comment l'IA a cessé d'être aveugle, et pourquoi c'est important

Il y a encore deux ans, nous nous émerveillions qu'un réseau de neurones sache rédiger une lettre cohérente ou écrire du code. L'IA ressemblait alors à un reclus génial enfermé dans une pièce obscure, qui ne découvrait le monde extérieur qu'à travers des billets glissés sous la porte. Aujourd'hui, cette métaphore ne tient plus. La porte a été arrachée de ses gonds, et le reclus s'est doté d'yeux et d'oreilles. La multimodalité est devenue le nouveau standard de l'industrie, et l'enjeu dépasse de loin la possibilité de demander à un bot de décrire la photo de votre chat.

Pour mesurer l'ampleur du changement, il faut rappeler comment les choses fonctionnaient auparavant. Les anciens systèmes reposaient sur une approche en cascade : un premier modèle transcrivait la voix en texte, un deuxième analysait ce texte, un troisième générait la réponse. Chaque étape faisait perdre des nuances : l'intonation, l'ironie, les bruits de fond. Les architectures actuelles, celles des dernières versions d'OpenAI et de Google, fonctionnent autrement. Elles sont nativement multimodales. Concrètement, le modèle ne fait aucune différence entre un token de texte et un fragment d'image. Il s'entraîne simultanément sur l'ensemble des données et tisse, au niveau le plus fondamental, des liens entre représentations visuelles et mots.

Qu'est-ce que cela change pour les entreprises et le grand public ? D'abord, la vitesse et le contexte. Lorsqu'un modèle analyse directement un flux vidéo, il peut réagir instantanément aux changements dans l'image, un point critique pour les systèmes de sécurité ou les véhicules autonomes. Ensuite, la précision. En médecine, l'IA peut désormais croiser les données du dossier médical avec les clichés IRM eux-mêmes, sans dépendre des comptes rendus textuels des radiologues, qui peuvent être subjectifs. Nous passons d'outils qui « savent des choses sur le monde » à des systèmes qui « comprennent le monde ».

Ce virage répond aussi au problème du goulet d'étranglement des données. Le Web textuel est pratiquement épuisé : l'IA a déjà lu presque tout ce que l'humanité a écrit. Mais l'univers de la vidéo, de l'audio et des données de capteurs est des milliers de fois plus vaste. En entraînant leurs modèles sur des plateformes vidéo et des archives d'images, les entreprises accèdent à des gisements de connaissances qui n'ont jamais été consignés dans des livres : la manière précise dont la main d'un artisan se déplace en travaillant le bois, par exemple, ou l'évolution des expressions du visage sous l'effet de certaines émotions. C'est la voie directe vers des robots véritablement intelligents.

Bien sûr, la médaille a son revers. Les modèles multimodaux exigent une puissance de calcul colossale. Traiter une heure de vidéo dans la fenêtre de contexte relevait encore récemment de l'impossible. Pourtant, la course aux armements dans le matériel et l'optimisation des algorithmes montre que ces barrières tombent plus vite que prévu. Nous entrons dans une ère où l'interaction avec l'ordinateur deviendra la plus naturelle possible : il suffira de lui montrer le problème pour qu'il le résolve.

L'essentiel : le texte n'est plus l'interface principale pour dialoguer avec l'IA, mais un canal parmi d'autres. Sommes-nous prêts à voir des algorithmes comprendre nos signaux non verbaux mieux que nous-mêmes ?