Meta FAIR lanza NeuralSet, un paquete de Python que conecta datos neuronales y modelos de IA

Meta FAIR ha lanzado NeuralSet, un paquete de Python para Neuro-AI que integra en un único flujo de trabajo los datos neuronales, los estímulos experimentales y los embeddings de modelos actuales. El proyecto pretende eliminar el empalme manual entre las herramientas de neurociencia y el stack de aprendizaje profundo, que hasta ahora ha frenado las investigaciones a gran escala.

Cuál es el problema

La neurociencia lleva tiempo contando con potentes herramientas especializadas como MNE-Python, Nilearn, EEGLAB, FieldTrip y fMRIPrep. Pero la mayor parte de ese stack surgió antes del auge del aprendizaje profundo y se diseñó para escenarios en los que los datos se cargan enteros en memoria y cada modalidad se procesa por separado. Para la Neuro-AI actual eso se queda corto: los investigadores necesitan vincular las señales cerebrales no solo entre sí, sino también con texto, audio, imágenes y vídeo que pasan por modelos del ecosistema Hugging Face.

Por eso los laboratorios suelen montar pipelines caseros. Limpian por un lado el fMRI o el EEG, calculan por otro los embeddings de palabras, fotogramas o audio, sincronizan todo a mano en el tiempo, configuran la caché y reescriben la infraestructura para cada experimento nuevo. Con conjuntos de datos públicos de terabytes y estímulos continuos como el habla o el vídeo, este esquema no solo resulta incómodo: frena de verdad la investigación.

Cómo funciona NeuralSet

La idea central de NeuralSet es separar la estructura del experimento de la extracción pesada de datos. Primero, el paquete describe todo lo que ocurre como eventos ligeros con un tipo, una hora de inicio, una duración y una línea temporal común. Esos eventos se ensamblan en un único objeto Study basado en un DataFrame de pandas, de modo que el investigador puede filtrar, combinar y recomponer grandes conjuntos de datos sin cargar las señales en bruto en la RAM. El enfoque también es compatible con los datasets BIDS, que ya se han convertido en estándar para parte de la investigación neurocientífica.

• Admite fMRI, EEG, MEG, iEEG, fNIRS, EMG y spikes
• Se integra con texto, audio, imágenes y vídeo
• Los embeddings pueden proceder de modelos de Hugging Face, entre ellos CLIP, DINOv2, Whisper, Wav2Vec, GPT-2 y LLaMA
• Las representaciones estáticas pueden expandirse en series temporales para sincronizarlas con las señales neuronales

Después entran en juego los componentes Extractor. Para los datos neuronales usan bibliotecas contrastadas según la tarea: por ejemplo, FmriExtractor se apoya en Nilearn, mientras que MegExtractor y EegExtractor lo hacen en MNE-Python. Para los estímulos, el paquete genera embeddings con modelos actuales y los convierte a un formato temporal común. El resultado es un Dataset y un DataLoader estándar compatibles con PyTorch, que se pueden conectar directamente al entrenamiento de modelos sin reescribir el flujo para cada modalidad.

Escalar sin sufrimiento

Meta FAIR pone un énfasis especial en la reproducibilidad y la infraestructura. NeuralSet utiliza un esquema de tres etapas para los extractores: primero se validan los parámetros, después los cálculos pesados se preparan y se guardan en caché por adelantado, y durante el entrenamiento los datos se recuperan de la caché de forma perezosa. Esto importa en operaciones costosas, como pasar un codificador de lenguaje o multimodal grande por todo el corpus: las representaciones calculadas una vez pueden reutilizarse en nuevos experimentos.

El paquete también usa Pydantic para validar estrictamente la configuración y un backend basado en exca para el almacenamiento en caché determinista y el seguimiento del origen de los cálculos. Si un parámetro está mal definido, el error aparece de inmediato y no tras horas de cómputo. El mismo código puede ejecutarse primero en local con un solo sujeto y luego cambiarse a un clúster SLURM con un único ajuste.

En el artículo científico y en la documentación, los autores subrayan que NeuralSet no sustituye a MNE-Python ni a Nilearn, sino que actúa como capa de orquestación entre herramientas neurocientíficas maduras y PyTorch. En la comparativa del artículo, el paquete fue la única solución con soporte completo en todas las categorías evaluadas, desde los dispositivos de registro hasta las capacidades de infraestructura.

Qué significa

NeuralSet no es otro modelo, sino una capa de infraestructura que puede acelerar de forma notable toda una clase de proyectos de Neuro-AI. Si el paquete realmente simplifica el trabajo con datos cerebrales multimodales y embeddings de modelos actuales, los investigadores tendrán menos ingeniería manual y más posibilidades de montar con mayor rapidez experimentos reproducibles a gran escala.

*Meta está reconocida como organización extremista y prohibida en Rusia.