Meta AI apresenta o NeuralBench, framework para testar modelos de atividade cerebral

A Meta AI lançou o NeuralBench, framework unificado de benchmarking para modelos que analisam registros de atividade cerebral. Junto veio o NeuralBench-EEG v1.0, o maior dataset aberto de eletroencefalografia já criado. Ele abrange 36 tarefas variadas de processamento de sinais cerebrais e 94 datasets separados, montados a partir de dados de 9,478 participantes, com um total de 13,603 horas de registros de EEG de alta qualidade.

O que é o NeuralBench

O NeuralBench oferece uma interface única e padronizada para testar de forma justa 14 arquiteturas de deep learning com dados idênticos. Ele resolve um problema fundamental que atormenta há décadas os pesquisadores de NeuroAI: cada laboratório usava seus próprios datasets, aplicava métodos próprios de processamento de sinais de EEG e escolhia suas próprias métricas de avaliação. Por isso, os resultados não podiam ser comparados de forma objetiva entre grupos.

O framework cobre vários tipos de tarefas de EEG, da classificação de sinais e detecção de artefatos à previsão de estados cognitivos e emoções. Cada uma das 36 tarefas tem métricas de avaliação bem definidas, que eliminam a subjetividade na interpretação dos resultados.

Por que era preciso unificar

Antes do NeuralBench, a NeuroAI continuava profundamente fragmentada. Cada grupo de pesquisa adotava abordagens diferentes, usava ferramentas de processamento de dados diferentes e avaliava os modelos de formas diferentes. Isso dificultava muito reproduzir resultados, comparar métodos de forma objetiva e acompanhar o progresso geral da área.

Uma abordagem unificada permite:

• Avaliar rapidamente novas arquiteturas sem um mês de trabalho prévio de engenharia
• Comparar de forma justa modelos de laboratórios diferentes nas mesmas condições
• Ver o progresso geral da área em uma única escala
• Desenvolver a NeuroAI como disciplina de engenharia com padrões comuns
• Transferir conhecimento entre aplicações, do diagnóstico às interfaces cérebro-computador

Para quem isso é crítico

O framework é importante para neurocientistas que querem aplicar IA a dados de EEG e para engenheiros de ML interessados em neurociência. Empresas que desenvolvem interfaces cérebro-computador, de próteses controladas pelo pensamento a sistemas de reabilitação após AVC, agora podem validar seus modelos em um benchmark reconhecido. Isso deve aumentar a confiança de investidores e reguladores médicos em novas tecnologias.

A abertura do dataset tem enorme importância. Ele é gratuito para todos, então qualquer equipe pode começar a trabalhar em aplicações de NeuroAI sem comprar equipamentos caros para coletar EEG.

Precedente histórico

O NeuralBench é para a NeuroAI o que o ImageNet foi para a visão computacional. Quando surgiu, em 2010, um benchmark público com um grande dataset, ele deu início a uma era de ouro da visão computacional. As arquiteturas melhoraram, surgiram padrões objetivos e ficou claro quais abordagens e métodos realmente funcionam. O mesmo vai acontecer com a análise do cérebro. Um benchmark comum acelera a indústria: pesquisadores ganham um alvo claro, empresas investem com confiança e a qualidade sobe para todos.

O que isso significa

O NeuralBench pode acelerar de forma significativa a passagem das interfaces neurais de protótipos de laboratório para a prática clínica e aplicações comerciais. Médicos terão métricas objetivas de desempenho. Investidores verão um mercado em padronização. Pesquisadores poderão se concentrar na inovação, e não na compatibilidade de dados e formatos.

É um momento raro: a NeuroAI é madura o bastante para um benchmark útil, mas jovem o bastante para que a unificação acelere o desenvolvimento de forma substancial por anos.

*A Meta foi classificada como organização extremista e é proibida na Rússia.