Modelos de linguagem de difusão desafiam o GPT: recorde de 892 tokens por segundo

# Modelos de difusão reescrevem as regras: 100 bilhões de parâmetros, 892 tokens por segundo

A indústria de modelos de linguagem ganhou um desafio inesperado. Pesquisadores demonstraram que abordagens de difusão para geração de texto, por muito tempo vistas como lentas e ineficientes, podem não só competir com arquiteturas clássicas como o GPT, mas também superá-las em velocidade. Um modelo de linguagem de difusão de 100 bilhões de parâmetros alcançou o recorde de 892 tokens por segundo, número que questiona as ideias estabelecidas sobre como os grandes modelos de linguagem modernos devem funcionar.

O feito é especialmente relevante porque os métodos de difusão ficaram anos à margem das tarefas com texto. Enquanto na visão computacional os modelos de difusão ganharam prestígio e revolucionaram a síntese de imagens, no processamento de texto predominou o paradigma autorregressivo, o mesmo em que se baseiam o ChatGPT e seus concorrentes. Modelos autorregressivos preveem o próximo token a partir de todos os anteriores, o que exige passagens sequenciais pela rede e deixa o processo mais lento.

Os modelos de linguagem de difusão funcionam de forma fundamentalmente diferente. Em vez de gerar o texto palavra por palavra, eles partem de dados ruidosos e refinam a saída aos poucos, ao longo de várias etapas de remoção de ruído. O paradoxo: mesmo com uma abordagem que, em tese, exige mais operações de cálculo, o novo modelo de 100 bilhões de parâmetros atingiu 892 tokens por segundo.

É cerca de duas vezes mais rápido que os números típicos de modelos autorregressivos atuais de tamanho semelhante. O avanço técnico está na otimização do algoritmo de remoção de ruído e da arquitetura da rede, que permite processar várias posições do texto em paralelo, em vez de esperar a previsão de um token terminar para passar ao seguinte.

O significado do resultado vai muito além de bater um recorde de velocidade. Escalar com sucesso um modelo de difusão até 100 bilhões de parâmetros mostra que essa abordagem não é um beco sem saída do ponto de vista da engenharia. Se modelos de difusão conseguem esse desempenho, eles abrem novos caminhos de otimização. Fabricantes poderiam reduzir a latência, melhorar a vazão dos servidores e cortar o consumo de energia, fatores críticos na era de custos crescentes de computação em nuvem.

Para a indústria, isso significa que o futuro dos modelos de linguagem não está necessariamente atrelado à arquitetura autorregressiva. OpenAI, Google DeepMind e outros laboratórios investiram enormes recursos justamente na otimização da abordagem autorregressiva, mas o surgimento de uma alternativa competitiva pode forçá-los a rever estratégias. Empresas que investiram em pesquisa de métodos de difusão ganham uma vantagem concreta. Para o usuário final, isso pode significar respostas mais rápidas de assistentes de IA, APIs mais baratas e modelos locais mais eficientes em energia.

Mesmo assim, é preciso cautela ao interpretar os resultados. A velocidade de geração de tokens está longe de ser o único critério de qualidade de um modelo. Também importam a qualidade do texto, a capacidade de lidar com dependências de longo alcance e a coerência lógica. Resta saber se a abordagem de difusão consegue se equiparar à autorregressiva em conteúdo e precisão das respostas com os mesmos recursos computacionais.

O episódio simboliza um momento de transição na indústria de IA, em que o paradigma dominante começa a sentir concorrência. Se os modelos de difusão confirmarem sua viabilidade em outras métricas, podemos testemunhar uma diversidade real de arquiteturas na IA mainstream, cada uma com seus pontos fortes.