Meta lanzó Tribe v2 — un modelo que predice la respuesta del cerebro a video, audio y texto

Meta lanzó TRIBE v2 — un modelo que predice respuestas cerebrales a vídeo, audio y texto basándose en datos de fMRI. El proyecto promete acelerar la neurociencia: en lugar de escanear nuevas personas, los investigadores podrán primero probar hipótesis en simulación.

Qué lanzó Meta

TRIBE v2 es un modelo trimodal diseñado para investigación cerebral in-silico. Recibe vídeo, audio y lenguaje como entrada, los convierte en representaciones de modelos preentrenados y luego predice el patrón de actividad neural que el fMRI detectaría en todo el cerebro. Para Meta, esto es un intento de alejarse de la vieja lógica, donde se construían modelos estrechos separados para cada función cognitiva: el movimiento se estudiaba por separado, los rostros por separado, el habla por separado.

TRIBE v2 debe conectar estas piezas en un sistema único que funcione simultáneamente en diferentes tipos de estímulos y tareas. Según Meta, la nueva versión proporciona resolución espacial 70 veces mayor que soluciones comparables y consistentemente supera los modelos clásicos de codificación lineal. La principal distinción respecto a muchos trabajos anteriores es la generalización zero-shot: el modelo puede predecir respuestas para nuevas personas, nuevas tareas e incluso nuevos idiomas sin reentrenamiento separado para cada escenario.

En su blog, Meta llama directamente a TRIBE v2 una herramienta que debe funcionar como un "gemelo digital" de la actividad neural y permitir que parte de los experimentos se realicen sin reclutar nuevos voluntarios.

Meta llama a TRIBE v2 un "gemelo digital" de la actividad neural humana.

En qué se entrenó

La base de TRIBE v2 es un corpus unificado de más de 1.000 horas de fMRI y 720 participantes. El entrenamiento combinó tanto conjuntos de datos "profundos" con muchos registros por persona como muestras "amplias" con cientos de personas y sesiones cortas. Los sujetos vieron películas, escucharon podcasts y audio, visualizaron imágenes y textos, y participaron en paradigmas de laboratorio más controlados. Esto es importante: el modelo aprende no de un único género de estímulos, sino de una porción bastante amplia de lo que los humanos ven, oyen y leen.

• películas y clips de vídeo
• podcasts y otros estímulos de audio
• textos y oraciones individuales
• tareas experimentales como mostrar objetos y palabras

Meta también lanzó el artículo, código, pesos del modelo y una demostración. Esto no es solo un comunicado de prensa: los investigadores pueden ejecutar su propio estímulo de vídeo, audio o texto y ver la respuesta neural predicha en la corteza. En su repositorio, la empresa señala que la inferencia básica proporciona una respuesta promediada de un participante "promedio" en una cuadrícula cortical de aproximadamente 20.000 vértices — lo que significa que estamos hablando de una herramienta funcional, no solo de un concepto bonito.

Qué mostraron las pruebas

En experimentos, TRIBE v2 predijo respuestas corticales y algunas subcorticales por encima del nivel del azar en diferentes tareas. Los autores muestran un cuadro bastante esperado pero importante: al escuchar podcasts, las regiones temporales se destacan más; al ver vídeos, la corteza visual; y los estímulos multimodales producen respuestas significativas en gran parte de la corteza. Frente a esto, la comparación con un fuerte método de línea base lineal en las mismas características es particularmente reveladora: la ventaja se explica no por entrada mejor, sino por la arquitectura misma, que combina de forma no lineal vídeo, audio e idioma.

Meta probó por separado cómo se comporta el modelo en nuevas personas y nuevos estudios. En algunos conjuntos de prueba, las predicciones de TRIBE v2 estaban más cerca de la respuesta promediada del grupo que de los registros reales de la mayoría de los participantes individuales. En el conjunto de datos del Human Connectome Project, los autores reportan una correlación de aproximadamente 0,4, que es aproximadamente el doble del desempeño mediano de un único participante.

Al mismo tiempo, los autores honestamente reconocen los límites del sistema: fMRI en sí es una medida lenta e indirecta de la actividad cerebral, por lo que el modelo no ve dinámicas neuronales a milisegundos, no cubre olfato, equilibrio y tacto, y actualmente describe el cerebro como observador pasivo en lugar de agente activo.

Qué significa

TRIBE v2 no lee mentes ni reemplaza el laboratorio, pero establece una nueva escala para la neurociencia computacional. Si el enfoque de Meta se sustenta ante el escrutinio externo, los investigadores podrán probar hipótesis de forma más económica, diseñar experimentos y traducir más rápidamente ideas de la neurociencia a modelos de IA y viceversa.