Meta AI presenta NeuralBench, un marco para evaluar modelos de actividad cerebral

Meta AI ha lanzado NeuralBench, un marco unificado para evaluar modelos que analizan registros de actividad cerebral. A la vez ha salido NeuralBench-EEG v1.0, el mayor conjunto de datos abierto de electroencefalografía hasta la fecha. Abarca 36 tareas variadas de procesamiento de señales cerebrales y 94 conjuntos de datos independientes, construidos a partir de datos de 9,478 sujetos, con un total de 13,603 horas de registros de EEG de alta calidad.

Qué es NeuralBench

NeuralBench ofrece una única interfaz estandarizada para probar de forma justa 14 arquitecturas de aprendizaje profundo con datos idénticos. Resuelve un problema de fondo que lleva décadas lastrando a los investigadores de NeuroAI: cada laboratorio usaba sus propios conjuntos de datos, aplicaba sus propios métodos de procesamiento de señales de EEG y elegía sus propias métricas de evaluación. Por eso los resultados no se podían comparar de forma objetiva entre grupos.

El marco cubre distintos tipos de tareas de EEG, desde la clasificación de señales y la detección de artefactos hasta la predicción de estados cognitivos y emociones. Cada una de las 36 tareas tiene métricas de evaluación claramente definidas que eliminan la subjetividad en la interpretación de los resultados.

Por qué hacía falta unificar

Antes de NeuralBench, la NeuroAI seguía muy fragmentada. Cada grupo de investigación aplicaba enfoques distintos, usaba herramientas de procesamiento de datos distintas y evaluaba los modelos de maneras distintas. Esto dificultaba mucho reproducir resultados, comparar métodos de forma objetiva y seguir el progreso general del campo.

Un enfoque unificado permite:

• Evaluar rápidamente nuevas arquitecturas sin un mes de trabajo previo de ingeniería
• Comparar de forma justa modelos de distintos laboratorios en las mismas condiciones
• Ver el progreso general del campo en una única escala
• Desarrollar la NeuroAI como una disciplina de ingeniería con estándares comunes
• Transferir conocimiento entre aplicaciones, del diagnóstico a las interfaces cerebro-computadora

Para quién es crítico

El marco importa a los neurocientíficos que quieren aplicar IA a datos de EEG y a los ingenieros de ML interesados en la neurociencia. Las empresas que desarrollan interfaces cerebro-computadora, desde prótesis controladas con el pensamiento hasta sistemas de rehabilitación tras un ictus, ya pueden validar sus modelos en un benchmark reconocido. Esto debería aumentar la confianza de inversores y reguladores sanitarios en las nuevas tecnologías.

La apertura del conjunto de datos es muy relevante. Es gratuito para todos, de modo que cualquier equipo puede empezar a trabajar en aplicaciones de NeuroAI sin comprar equipos caros para recopilar EEG.

Precedente histórico

NeuralBench es para la NeuroAI lo que ImageNet fue para la visión por computador. Cuando en 2010 apareció un benchmark público con un gran conjunto de datos, se inició una edad de oro de la visión por computador. Las arquitecturas mejoraron, surgieron estándares objetivos y quedó claro qué enfoques y métodos funcionan de verdad. Lo mismo ocurrirá con el análisis del cerebro. Un benchmark común acelera la industria: los investigadores tienen un objetivo claro, las empresas invierten con confianza y la calidad sube para todos los participantes.

Qué significa

NeuralBench puede acelerar de forma notable el paso de las interfaces neuronales de prototipos de laboratorio a la práctica clínica y a las aplicaciones comerciales. Los médicos tendrán métricas de rendimiento objetivas. Los inversores verán un mercado que se estandariza. Los investigadores podrán centrarse en la innovación y no en la compatibilidad de datos y formatos.

Es un momento poco común: la NeuroAI es lo bastante madura para un benchmark útil, pero aún lo bastante joven como para que la unificación acelere su desarrollo de forma sustancial durante años.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.