Meta FAIR lance NeuralSet, un paquet Python qui relie données neuronales et modèles d'IA

Meta FAIR a publié NeuralSet, un paquet Python pour la Neuro-AI qui rassemble dans un seul pipeline de travail les données neuronales, les stimuli expérimentaux et les embeddings de modèles récents. Le projet vise à supprimer le raccordement manuel entre les outils de neurosciences et la pile de deep learning, qui a jusqu'ici freiné les recherches à grande échelle.

Où est le problème

Les neurosciences disposent depuis longtemps d'outils spécialisés solides, comme MNE-Python, Nilearn, EEGLAB, FieldTrip et fMRIPrep. Mais l'essentiel de cette pile est apparu avant l'essor de l'apprentissage profond et a été conçu pour des scénarios où les données sont chargées intégralement en mémoire et où chaque modalité est traitée séparément. Pour la Neuro-AI d'aujourd'hui, cela ne suffit plus : les chercheurs doivent relier les signaux cérébraux non seulement entre eux, mais aussi à du texte, de l'audio, des images et de la vidéo traités par des modèles de l'écosystème Hugging Face.

Résultat, les laboratoires bricolent souvent leurs propres pipelines. Ils nettoient d'un côté le fMRI ou l'EEG, calculent de l'autre les embeddings des mots, des images ou du son, synchronisent ensuite le tout à la main dans le temps, configurent le cache et réécrivent l'infrastructure pour chaque nouvelle expérience. Avec des jeux de données publics de plusieurs téraoctets et des stimuli continus comme la parole ou la vidéo, ce schéma n'est pas seulement pénible : il ralentit réellement la recherche.

Comment fonctionne NeuralSet

L'idée clé de NeuralSet est de séparer la structure de l'expérience de l'extraction lourde des données. Le paquet décrit d'abord tout ce qui se produit sous forme d'événements légers, dotés d'un type, d'un instant de début, d'une durée et d'une ligne temporelle commune. Ces événements sont assemblés dans un objet Study unique, construit sur un DataFrame pandas : le chercheur peut ainsi filtrer, combiner et recomposer de grands jeux de données sans charger les signaux bruts en RAM. Cette approche est aussi compatible avec les jeux de données BIDS, devenus un standard pour une partie de la recherche en neurosciences.

• Prend en charge fMRI, EEG, MEG, iEEG, fNIRS, EMG et spikes
• S'intègre au texte, à l'audio, aux images et à la vidéo
• Les embeddings peuvent provenir de modèles Hugging Face, dont CLIP, DINOv2, Whisper, Wav2Vec, GPT-2 et LLaMA
• Les représentations statiques peuvent être déployées en séries temporelles pour être synchronisées avec les signaux neuronaux

Viennent ensuite les composants Extractor. Pour les données neuronales, ils s'appuient sur des bibliothèques éprouvées selon l'usage : FmriExtractor repose par exemple sur Nilearn, tandis que MegExtractor et EegExtractor reposent sur MNE-Python. Pour les stimuli, le paquet construit des embeddings à partir de modèles récents et les ramène à un format temporel unique. En sortie, on obtient un Dataset et un DataLoader standard compatibles PyTorch, directement branchables sur l'entraînement des modèles, sans réécrire le pipeline pour chaque modalité.

Passer à l'échelle sans douleur

Meta FAIR insiste particulièrement sur la reproductibilité et l'infrastructure. NeuralSet applique aux extracteurs un schéma en trois étapes : les paramètres sont d'abord vérifiés, puis les calculs lourds sont préparés à l'avance et mis en cache, et pendant l'entraînement les données sont récupérées paresseusement depuis le cache. C'est important pour les opérations coûteuses, comme faire passer un grand encodeur de langage ou multimodal sur tout le corpus : les représentations calculées une fois peuvent être réutilisées dans de nouvelles expériences.

Le paquet utilise aussi Pydantic pour une validation stricte de la configuration, et un backend basé sur exca pour une mise en cache déterministe et le suivi de la provenance des calculs. Si un paramètre est mal défini, l'erreur apparaît immédiatement, et non après des heures de calcul. Le même code peut d'abord tourner en local sur un seul sujet, puis basculer sur un cluster SLURM en changeant littéralement un seul réglage.

Dans l'article scientifique et la documentation, les auteurs soulignent que NeuralSet ne remplace ni MNE-Python ni Nilearn, mais joue le rôle de couche d'orchestration entre des outils de neurosciences matures et PyTorch. Dans la comparaison de l'article, le paquet est la seule solution offrant une prise en charge complète dans toutes les catégories examinées, des appareils d'enregistrement aux capacités d'infrastructure.

Ce que cela signifie

NeuralSet n'est pas un modèle de plus, mais une couche d'infrastructure qui peut accélérer sensiblement toute une classe de projets Neuro-AI. Si le paquet simplifie réellement le travail avec les données cérébrales multimodales et les embeddings de modèles récents, les chercheurs auront moins d'ingénierie manuelle à faire et davantage de chances de monter plus vite des expériences reproductibles à grande échelle.

*Meta est classée organisation extrémiste et interdite en Russie.