Emu2 na Nature: cientistas chineses encontram um código único para a realidade

Durante muito tempo, a inteligência artificial moderna lembrou um monstro de Frankenstein de alta tecnologia. Nos acostumamos à ideia de que as redes neurais têm "órgãos" diferentes para sentidos diferentes: modelos de linguagem como o GPT lidavam brilhantemente com texto por meio da autorregressão, prevendo a próxima palavra, enquanto geradores de imagem como Midjourney e Stable Diffusion viviam no mundo da difusão, extraindo ordem do caos de pixels aleatórios. Essa divisão parecia fundamental e inabalável, como a diferença entre lógica e imaginação.

Os pesquisadores da Academia de Inteligência Artificial de Pequim (BAAI), porém, decidiram que era hora de deixar esse dualismo arquitetônico no passado. O novo trabalho deles sobre o modelo multimodal Emu2, recém-publicado na revista Nature, faz uma afirmação ousada: um único princípio algorítmico basta para compreender e criar o mundo. O avanço está na unificação.

Os cientistas conseguiram provar que qualquer informação — seja um tratado filosófico, um vídeo de um gato correndo ou o diagrama de um microchip — pode ser reduzida a um formato único de tokens. No Emu2, uma imagem deixa de ser um conjunto de pixels no sentido tradicional. Ela se transforma em uma sequência de "palavras visuais", que a rede neural aprende a prever exatamente como nós prevemos o final desta frase.

Essa abordagem, chamada de aprendizado autorregressivo, foi considerada por muito tempo pesada demais para gráficos. Mas os engenheiros chineses mostraram, com um modelo de 37 bilhões de parâmetros, que, com a abordagem certa, a autorregressão alcança a difusão em qualidade e ainda a supera em flexibilidade. Por que mexer no que já funcionava razoavelmente bem?

O problema dos sistemas atuais está nas suas "costuras". Quando você tenta fazer um cérebro textual conversar com olhos visuais, precisa construir pontes e adaptadores complexos, nos quais sentido e contexto inevitavelmente se perdem. O Emu2, por sua vez, é nativamente multimodal.

Ele não traduz da linguagem das imagens para a das palavras: desde o início, pensa em uma linguagem na qual pixel e letra têm o mesmo peso. Isso permite ao modelo demonstrar uma eficiência assustadora no aprendizado em contexto (in-context learning). Basta mostrar alguns exemplos de como editar uma foto para que ele capte imediatamente a lógica da tarefa, sem qualquer ajuste fino.

É exatamente a mágica que um dia transformou o GPT-3 em sensação mundial, só que agora estendida a todo o espaço visual. É impossível ignorar o contexto desse acontecimento. Uma publicação na Nature é o selo máximo de qualidade no meio científico, e o fato de ela ter ido justamente para a BAAI diz muito.

Enquanto gigantes ocidentais como OpenAI e Google competem para ver quem mantém seus laboratórios mais fechados, pesquisadores chineses constroem metodicamente a base teórica para a próxima geração de IA. Na prática, o Emu2 encerra a era das ferramentas especializadas. Estamos entrando na era dos motores universais de previsão da realidade.

Se tudo ao nosso redor é uma sequência de dados, vence quem tiver o modelo que melhor adivinha o próximo elemento dessa sequência, seja qual for sua natureza. É claro que migrar para a autorregressão pura exige um poder computacional colossal. É um jogo para quem tem acesso ilimitado a GPUs e paciência infinita para ajustar hiperparâmetros.

Mas a história da tecnologia ensina: no longo prazo, a universalidade elegante sempre vence as gambiarras especializadas. Já vimos os transformers "engolirem" as redes recorrentes na linguística. Agora, vemos eles começarem a absorver o mundo da visão computacional.

Mais do que um novo modelo, trata-se de um manifesto por uma nova pureza arquitetônica, que vai obrigar muita gente a revisar seus roadmaps para os próximos dois anos. O principal: Pequim consolidou oficialmente seu status de líder na teoria fundamental de IA ao provar que o futuro pertence aos modelos autorregressivos unificados. Isso significa que as redes neurais de difusão estão a caminho da lata de lixo da história, ou elas vão encontrar seu nicho em tarefas altamente especializadas?