Inclusion AI acelera a geração de LLMs em até 6,9 vezes com uma árvore de rascunhos

A Inclusion AI apresentou o UBTree, um método para acelerar a geração de texto em grandes modelos de linguagem. Um modelo pequeno esboça antecipadamente um rascunho na forma de uma árvore com 64 variantes de continuação, e o modelo grande verifica todos os ramos em uma única passada. O número «6,88×» dos testes significa que, no Qwen3-4B, a geração foi quase sete vezes mais rápida do que a convencional, em que o modelo produz um token por passada. No Qwen3-8B, o ganho foi de 6,94×. É a média de sete testes, que vão dos problemas escolares do GSM8K e da matemática olímpica do AIME à programação no LiveCodeBench e aos diálogos do MT-Bench.

Onde os drafters paralelos rápidos falham

A decodificação especulativa se baseia em uma ideia simples. O modelo grande é lento porque, a cada token, precisa passar por todos os seus pesos. Por isso, um modelo-rascunho pequeno (o drafter) propõe antecipadamente vários tokens à frente. O modelo-alvo os verifica em uma única passada e aceita tudo até o primeiro erro. Quanto mais longa a sequência aceita, maior o ganho.

Os drafters podem ser sequenciais ou paralelos. O sequencial compõe os tokens um a um, enquanto o paralelo gera o bloco inteiro de uma vez. DFlash e DSpark são paralelos, e o UBTree desenvolve justamente essa família. Esses drafters são rápidos, mas têm um ponto fraco: avaliam cada posição do bloco de forma quase independente das vizinhas. Quando a distribuição do modelo-alvo é difusa e várias continuações têm probabilidades quase iguais, o drafter acerta mal quais palavras vão aparecer lado a lado. A sequência é interrompida antes da hora.

Duas passadas: seleção de candidatos e montagem da árvore

O UBTree corrige o problema sem abrir mão do paralelismo. O rascunho é montado em duas etapas paralelas.

• Primeira etapa. O modelo DFlash seleciona 64 variantes de token para cada uma das 16 posições do bloco. Ele continua calculando as posições de forma independente.
• Segunda etapa. Um seletor de bigramas avalia o quanto uma variante serve como continuação de outra. Cada par de tokens vizinhos passa por dois pequenos perceptrons sobre embeddings congelados do modelo-alvo, um para o predecessor e outro para o sucessor. A pontuação resultante é somada à pontuação do DFlash. O peso dessa pontuação depende da profundidade da posição.

Todos os pares são calculados simultaneamente. A partir das pontuações das transições, o método monta uma árvore de 64 nós, e o modelo-alvo a verifica inteira em uma única passada. Um ramo pode não coincidir com a escolha do modelo grande, mas outro pode coincidir.

O seletor foi treinado com respostas regeneradas em temperatura alta, usando uma função de perda KL renormalizada. Com essa rotulagem, os dados de treinamento incluem não só as continuações mais prováveis, mas também alternativas plausíveis. Por isso, a árvore passa a conter com mais frequência o ramo que o modelo-alvo escolherá.

O que mostraram as medições

• Qwen3-4B e Qwen3-8B: aceleração média de 6,88× e 6,94× em sete testes.
• Contra o DARTree: o UBTree superou o método em árvore mais próximo nas 28 comparações, em média entre 7,4% e 13,4%.
• Ling3-Flash-124B no SGLang: 3,27× contra 2,73× do DSpark e 2,80× do DFlash.
• Qwen3.8-27B: 4,78× contra 4,32× do DSpark.
• Contexto longo (LongBench-v2): o número de tokens aceitos em uma rodada de verificação é de 31,0% a 39,7% maior do que o do concorrente mais forte.

Vale atentar para a variação. O ganho de quase sete vezes foi obtido em modelos Qwen3 pequenos. No Ling3-Flash, de 124 bilhões de parâmetros, em serving em produção, a aceleração é mais modesta: 3,27×. Mesmo assim, a diferença é perceptível: nas mesmas medições, DFlash e DSpark chegam a 2,80× e 2,73×.

O que já dá para usar

Junto com o método, a Inclusion AI publicou dois modelos-rascunho sob licença MIT:

• Ling3-Tiny-UBTree, com 183 milhões de parâmetros. Funciona em par com o Ling-3.0-tiny (8 bilhões de parâmetros, dos quais 1 bilhão ativos).
• Ling3-Flash-UBTree, com 482 milhões de parâmetros. Funciona em par com o Ling-3.0-flash (124 bilhões de parâmetros, 5 bilhões ativos).

Esses modelos não geram nada por conta própria. Servem apenas como drafters do seu respectivo modelo-alvo. O suporte ao UBTree para o Ling3 no SGLang ainda não foi publicado, e a equipe promete modelos-rascunho adicionais ao longo de um mês.

Para engenheiros que hospedam os próprios modelos, a conclusão é esta. A aceleração, sem perda de qualidade nas respostas, vem de um pequeno acréscimo à arquitetura, e os pesos do modelo grande não precisam ser alterados. Porém, os drafters prontos existem, por enquanto, só para dois modelos da família Ling. Para outro modelo-alvo, será preciso treinar o próprio drafter, e vale reconferir os números do Qwen3 na sua própria carga de trabalho.