Meta AI dévoile NeuralBench, un framework pour tester les modèles d'activité cérébrale

Meta AI a publié NeuralBench, un framework unifié de benchmarking pour les modèles qui analysent des enregistrements d'activité cérébrale. En parallèle sort NeuralBench-EEG v1.0, le plus grand jeu de données ouvert d'électroencéphalographie jamais constitué. Il couvre 36 tâches variées de traitement des signaux cérébraux et 94 jeux de données distincts, construits à partir des données de 9,478 sujets, pour un total de 13,603 heures d'enregistrements EEG de haute qualité.

Ce qu'est NeuralBench

NeuralBench fournit une interface unique et standardisée pour tester équitablement 14 architectures d'apprentissage profond sur des données identiques. Il répond à un problème de fond qui handicape depuis des décennies les chercheurs en NeuroAI : chaque laboratoire utilisait ses propres jeux de données, appliquait ses propres méthodes de traitement des signaux EEG et choisissait ses propres métriques d'évaluation. Les résultats ne pouvaient donc pas être comparés objectivement d'un groupe à l'autre.

Le framework couvre plusieurs types de tâches EEG, de la classification de signaux et de la détection d'artefacts à la prédiction d'états cognitifs et d'émotions. Chacune des 36 tâches dispose de métriques d'évaluation clairement définies, qui écartent toute subjectivité dans l'interprétation des résultats.

Pourquoi il fallait unifier

Avant NeuralBench, la NeuroAI restait profondément fragmentée. Les groupes de recherche appliquaient des approches différentes, utilisaient des outils de traitement des données différents et évaluaient les modèles de façons différentes. Cela compliquait fortement la reproduction des résultats, la comparaison objective des méthodes et le suivi des progrès d'ensemble du domaine.

Une approche unifiée permet de :

• Évaluer rapidement de nouvelles architectures sans un mois de travail d'ingénierie préalable
• Comparer équitablement des modèles de laboratoires différents dans les mêmes conditions
• Visualiser les progrès d'ensemble du domaine sur une seule échelle
• Développer la NeuroAI comme une discipline d'ingénierie dotée de standards communs
• Transférer les connaissances d'une application à l'autre, du diagnostic aux interfaces cerveau-machine

Pour qui c'est crucial

Le framework compte pour les neuroscientifiques qui veulent appliquer l'IA aux données EEG et pour les ingénieurs ML qui s'intéressent aux neurosciences. Les entreprises qui développent des interfaces cerveau-machine, des prothèses commandées par la pensée aux systèmes de rééducation après un AVC, peuvent désormais valider leurs modèles sur un benchmark reconnu. Cela devrait renforcer la confiance des investisseurs et des régulateurs médicaux envers ces nouvelles technologies.

L'ouverture du jeu de données est d'une grande importance. Il est accessible gratuitement à tous : n'importe quelle équipe peut donc se lancer dans des applications de NeuroAI sans acheter de matériel coûteux de collecte d'EEG.

Précédent historique

NeuralBench est à la NeuroAI ce qu'ImageNet fut à la vision par ordinateur. Lorsqu'un benchmark public adossé à un grand jeu de données est apparu en 2010, il a ouvert l'âge d'or de la vision par ordinateur. Les architectures se sont améliorées, des standards objectifs ont émergé, et l'on a vu quelles approches et méthodes fonctionnent réellement. Il en ira de même pour l'analyse du cerveau. Un benchmark commun accélère l'industrie : les chercheurs obtiennent un objectif clair, les entreprises investissent avec assurance, et la qualité progresse pour tous les participants.

Ce que cela signifie

NeuralBench peut accélérer nettement le passage des interfaces neuronales des prototypes de laboratoire à la pratique clinique et aux applications commerciales. Les médecins disposeront de métriques de performance objectives. Les investisseurs verront un marché qui se standardise. Les chercheurs pourront se concentrer sur l'innovation plutôt que sur la compatibilité des données et des formats.

C'est un moment rare : la NeuroAI est assez mature pour un benchmark utile, mais encore assez jeune pour que l'unification accélère son développement de façon substantielle pendant des années.

*Meta a été classée organisation extrémiste et est interdite en Russie.