Meta lançou o Tribe v2 — um modelo que prevê a resposta do cérebro a vídeo, áudio e texto

A Meta lançou o TRIBE v2 — um modelo que prevê respostas cerebrais a vídeo, áudio e texto com base em dados de fMRI. O projeto promete acelerar a neurociência: em vez de escanear novas pessoas, pesquisadores poderão primeiro testar hipóteses em simulação.

O que a Meta lançou

TRIBE v2 é um modelo trimodal projetado para pesquisa cerebral in-silico. Recebe vídeo, áudio e linguagem como entrada, converte-os em representações de modelos pré-treinados e então prevê o padrão de atividade neural que o fMRI detectaria em todo o cérebro. Para a Meta, essa é uma tentativa de se afastar da velha lógica, onde modelos estreitos separados eram construídos para cada função cognitiva: movimento era estudado separadamente, rostos separadamente, fala separadamente.

TRIBE v2 deve conectar essas peças em um único sistema que funciona simultaneamente em diferentes tipos de estímulos e tarefas. De acordo com a Meta, a nova versão oferece resolução espacial 70 vezes maior do que soluções comparáveis e consistentemente supera modelos clássicos de codificação linear. A principal distinção de muitos trabalhos anteriores é a generalização zero-shot: o modelo pode prever respostas para novas pessoas, novas tarefas e até novas línguas sem retreinamento separado para cada cenário.

No blog da empresa, a Meta chama diretamente o TRIBE v2 de ferramenta que deve funcionar como um "gêmeo digital" da atividade neural e permitir que parte dos experimentos seja conduzida sem recrutar novos voluntários.

A

Meta chama o TRIBE v2 de "gêmeo digital" da atividade neural humana.

O que foi usado para treinamento

A base do TRIBE v2 é um corpus unificado de mais de 1.000 horas de fMRI e 720 participantes. O treinamento combinou tanto datasets "profundos" com muitos registros por pessoa quanto amostras "amplas" com centenas de pessoas e sessões curtas. Os sujeitos assistiram filmes, ouviram podcasts e áudio, visualizaram imagens e textos e participaram de paradigmas laboratoriais mais controlados. Isso é importante: o modelo aprende não a partir de um único gênero de estímulos, mas de uma fatia bastante ampla do que humanos veem, ouvem e leem.

• filmes e clips de vídeo
• podcasts e outros estímulos de áudio
• textos e frases individuais
• tarefas experimentais como exibição de objetos e palavras

A Meta também lançou o artigo, código, pesos do modelo e uma demonstração. Isso não é apenas um comunicado à imprensa: pesquisadores podem executar seu próprio estímulo de vídeo, áudio ou texto e ver a resposta neural prevista no córtex. No repositório da empresa, nota-se que a inferência básica fornece uma resposta média de um participante "médio" em uma grade cortical de aproximadamente 20.000 vértices — significando que estamos falando de uma ferramenta funcional, não apenas de um conceito bonito.

O que os testes mostraram

Em experimentos, TRIBE v2 previu respostas corticais e algumas subcorticais acima do nível do acaso em diferentes tarefas. Os autores mostram um quadro bastante esperado mas importante: ao ouvir podcasts, regiões temporais se destacam mais; ao assistir vídeos, córtex visual; e estímulos multimodais produzem respostas significativas em grande parte do córtex. Contra esse pano de fundo, a comparação com um forte método linear de baseline nos mesmos recursos é particularmente reveladora: a vantagem é explicada não por melhor entrada, mas pela própria arquitetura, que combina não-linearmente vídeo, áudio e linguagem.

A Meta testou separadamente como o modelo se comporta com novas pessoas e novos estudos. Em alguns conjuntos de teste, as previsões do TRIBE v2 estavam mais próximas da resposta média do grupo do que dos registros reais da maioria dos participantes individuais. No dataset do Human Connectome Project, os autores relatam uma correlação de aproximadamente 0,4, que é aproximadamente o dobro do desempenho mediano de um único participante.

Ao mesmo tempo, os autores honestamente reconhecem os limites do sistema: fMRI em si é uma medida lenta e indireta da atividade cerebral, então o modelo não vê dinâmica neuronal em milissegundos, não cobre cheiro, equilíbrio e tato, e atualmente descreve o cérebro como observador passivo em vez de agente ativo.

O que isso significa

TRIBE v2 não lê mentes e não substitui o laboratório, mas estabelece uma nova escala para neurociência computacional. Se a abordagem da Meta se sustenta ante escrutínio externo, pesquisadores poderão testar hipóteses mais barato, projetar experimentos e traduzir ideias da neurociência para modelos de IA mais rapidamente e vice-versa.