Apple ML Research: como modelos de difusão aprendem a escolher tokens sem heurísticas manuais

Em julho de 2026, a Apple ML Research publicou um estudo sobre o treinamento de políticas de revelação de tokens para modelos de linguagem de difusão. Em vez de heurísticas manuais, que exigem ajuste e trazem resultados instáveis, a proposta é treinar o próprio processo de seleção do token.

O que são modelos de linguagem de difusão

Os modelos de linguagem de difusão (dLLMs) diferem de forma fundamental das arquiteturas autorregressivas conhecidas, como GPT ou Claude. Um modelo autorregressivo constrói o texto em sequência, token por token, da esquerda para a direita. Um modelo de difusão funciona de outro jeito: parte de um texto totalmente «mascarado» e vai «revelando» posições aos poucos, ao longo de várias iterações.

Segundo a Apple ML Research, os dLLMs atuais já são comparáveis em qualidade aos autorregressivos em muitas tarefas aplicadas, e ainda prometem vantagem em velocidade de inferência. Como o modelo pode revelar vários tokens em um único passo, em teoria é possível alcançar maior vazão com menor custo computacional.

Por que a escolha do token decide tudo

Em cada passo da difusão, o modelo precisa responder a uma pergunta: qual dos tokens mascarados restantes revelar em seguida? Essa questão, aparentemente técnica, influencia diretamente tanto a qualidade do texto gerado quanto a velocidade.

A abordagem ingênua, escolher o token aleatoriamente, acaba sendo a pior estratégia. Os pesquisadores da Apple observam que a heurística de confidence thresholding dá resultados bem melhores: o modelo revela primeiro as posições em que sua confiança (probability score) é mais alta.

Fatos principais sobre as heurísticas atuais:

• O confidence thresholding melhora a qualidade da amostra em comparação com a revelação aleatória
• A estratégia aumenta o token throughput, o número de tokens por unidade de tempo
• A desvantagem é a necessidade de ajustar manualmente os parâmetros para cada tarefa
• O desempenho da heurística é instável e varia conforme a aplicação

O que a Apple propõe no lugar das regras manuais

A ideia central do trabalho é substituir heurísticas fixas por uma política de revelação treinável. Em vez de o desenvolvedor escolher limiares manualmente e ajustar parâmetros para cada cenário, o modelo aprende sozinho a estratégia ideal de seleção de tokens.

«Essas heurísticas têm desvantagens: exigem ajuste manual, e seu desempenho...» — do resumo do estudo da

Apple ML Research.

O princípio não é novo no aprendizado de máquina: trocar heurísticas humanas por estratégias otimizadas automaticamente é o caminho padrão do «ajuste manual» para o «aprendizado a partir de dados». Aplicada a modelos de difusão, essa abordagem pode descobrir estratégias de revelação de tokens que um desenvolvedor humano não conceberia de antemão, e não exige recalibração ao passar para novas tarefas.

O que isso significa

Os modelos de linguagem de difusão chamam atenção como uma das abordagens alternativas promissoras para a arquitetura de grandes modelos de linguagem, principalmente pela eficiência de inferência. Se as políticas de revelação puderem ser treinadas automaticamente e superarem de forma consistente as heurísticas manuais, isso removeria uma barreira prática central ao uso de dLLMs em ambientes industriais, onde custo e velocidade de geração são críticos.

Perguntas frequentes

Como os modelos de linguagem de difusão diferem do GPT?

Modelos autorregressivos como o GPT geram texto em sequência, um token por vez. Os modelos de linguagem de difusão começam com um texto totalmente mascarado e o «revelam» de forma iterativa em vários passos, o que permite processar várias posições em paralelo e, potencialmente, acelerar a inferência.

O que é confidence thresholding no contexto dos dLLMs?

É uma heurística em que, a cada passo da difusão, o modelo revela primeiro a posição em que sua confiança é mais alta. A Apple ML Research mostra que isso melhora tanto a qualidade do texto quanto a velocidade de geração em comparação com a revelação aleatória, mas exige ajuste manual de parâmetros.