Meta a lancé Tribe v2 — un modèle qui prédit la réponse du cerveau à la vidéo, à l'audio et au texte

Meta a lancé TRIBE v2 — un modèle qui prédit les réponses cérébrales aux vidéos, à l'audio et au texte sur la base de données d'IRM fonctionnelle. Le projet promet d'accélérer les neurosciences : au lieu de scanner de nouvelles personnes, les chercheurs pourront d'abord tester des hypothèses en simulation.

Ce que Meta a lancé

TRIBE v2 est un modèle trimodal conçu pour la recherche cérébrale in-silico. Il prend en entrée la vidéo, l'audio et le langage, les convertit en représentations provenant de modèles préentraînés, puis prédit le motif d'activité neuronale que l'IRM fonctionnelle détecterait dans tout le cerveau. Pour Meta, c'est une tentative de s'éloigner de l'ancienne logique, où des modèles étroits séparés étaient construits pour chaque fonction cognitive : le mouvement était étudié séparément, les visages séparément, la parole séparément.

TRIBE v2 doit connecter ces pièces en un seul système qui fonctionne simultanément sur différents types de stimuli et de tâches. Selon Meta, la nouvelle version fournit une résolution spatiale 70 fois supérieure aux solutions comparables et surpasse régulièrement les modèles linéaires de codage classiques. La principale distinction par rapport à de nombreux travaux antérieurs est la généralisation zero-shot : le modèle peut prédire les réponses pour de nouvelles personnes, de nouvelles tâches et même de nouvelles langues sans réentraînement séparé pour chaque scénario.

Dans son blog, Meta appelle directement TRIBE v2 un outil qui doit fonctionner comme un « jumeau numérique » de l'activité neuronale et permettre à une partie des expériences d'être menées sans recruter de nouveaux volontaires.

Meta appelle TRIBE v2 un « jumeau numérique » de l'activité neuronale humaine.

Sur quoi il a été entraîné

La base de TRIBE v2 est un corpus unifié de plus de 1 000 heures d'IRM fonctionnelle et 720 participants. L'entraînement a combiné à la fois des ensembles de données « profonds » avec de nombreux enregistrements par personne et des échantillons « larges » avec des centaines de personnes et des sessions courtes. Les sujets ont regardé des films, écouté des podcasts et de l'audio, visualisé des images et des textes, et participé à des paradigmes de laboratoire plus contrôlés. C'est important : le modèle apprend non pas à partir d'un seul genre de stimuli, mais à partir d'une tranche assez large de ce que les humains voient, entendent et lisent.

• films et clips vidéo
• podcasts et autres stimuli audio
• textes et phrases individuelles
• tâches expérimentales comme l'affichage d'objets et de mots

Meta a également publié l'article, le code, les poids du modèle et une démonstration. Ce n'est pas seulement un communiqué de presse : les chercheurs peuvent exécuter leur propre stimulus vidéo, audio ou texte et voir la réponse neuronale prédite sur le cortex. Dans son référentiel, l'entreprise note que l'inférence de base fournit une réponse moyennée d'un participant « moyen » sur une grille corticale d'environ 20 000 sommets — ce qui signifie que nous parlons d'un outil fonctionnel, pas seulement d'un beau concept.

Ce que les tests ont montré

Dans les expériences, TRIBE v2 a prédit les réponses corticales et certaines réponses sous-corticales au-dessus du niveau du hasard sur différentes tâches. Les auteurs montrent un tableau assez attendu mais important : en écoutant des podcasts, les régions temporales se distinguent davantage ; en regardant des vidéos, le cortex visuel ; et les stimuli multimodaux produisent des réponses significatives dans une grande partie du cortex. Sur ce fond, la comparaison avec une forte méthode linéaire de base sur les mêmes caractéristiques est particulièrement révélatrice : l'avantage s'explique non pas par une meilleure entrée, mais par l'architecture elle-même, qui combine de manière non linéaire la vidéo, l'audio et le langage.

Meta a testé séparément comment le modèle se comporte avec de nouvelles personnes et de nouvelles études. Sur certains ensembles de test, les prédictions de TRIBE v2 étaient plus proches de la réponse du groupe moyennée que des enregistrements réels de la plupart des participants individuels. Sur l'ensemble de données du Human Connectome Project, les auteurs rapportent une corrélation d'environ 0,4, ce qui est à peu près le double de la performance médiane d'un seul participant.

En même temps, les auteurs reconnaissent honnêtement les limites du système : l'IRM fonctionnelle elle-même est une mesure lente et indirecte de l'activité cérébrale, donc le modèle ne voit pas la dynamique neuronale à la milliseconde, ne couvre pas l'odorat, l'équilibre et le toucher, et décrit actuellement le cerveau comme un observateur passif plutôt qu'un agent actif.

Ce que cela signifie

TRIBE v2 ne lit pas dans les pensées et ne remplace pas le laboratoire, mais il établit une nouvelle échelle pour les neurosciences computationnelles. Si l'approche de Meta résiste à l'examen externe, les chercheurs pourront tester les hypothèses à moindre coût, concevoir des expériences et traduire plus rapidement les idées des neurosciences aux modèles d'IA et vice-versa.