Tencent abre o código do AngelSpec, framework para acelerar a inferência de LLMs com speculative decoding

A Tencent abriu, em 30 de julho de 2026, o código-fonte do AngelSpec, framework torch-native para treinar modelos draft (rascunho) de speculative decoding. Nos modelos Hy3, ele elevou a taxa média de aceitação dos tokens propostos de 52,8% para 66,4%, sem perda de qualidade na geração.

O que é speculative decoding

Speculative decoding é uma técnica para acelerar a geração de um grande modelo de linguagem sem perder qualidade na resposta. Um modelo draft leve propõe de uma só vez vários tokens futuros, e o modelo principal (target) verifica todos eles em uma única passagem, por meio de rejection sampling. O método é lossless: o texto final coincide com o que o próprio modelo principal produziria sozinho. O ganho de velocidade depende de dois fatores: quantos tokens do rascunho são aceitos e quanto dura o ciclo completo de "rascunho e verificação".

• Data de lançamento: 30 de julho de 2026, com licença open source
• O framework é torch-native e funciona com modelos da família Hy3
• Cobre duas abordagens: MTP autorregressivo e a família block-parallel DFlash (DFly, D-cut)
• Taxa média de aceitação de tokens: 52,8% → 66,4% com T=0
• Comprimento médio do rascunho aceito: 2,58 → 2,99 tokens

Por que um único modelo universal leva a pior

Um único modelo draft universal sai perdendo porque o tráfego real é heterogêneo e as duas métricas de velocidade puxam em direções opostas. Em um diálogo aberto, de alta entropia, dezenas de continuações são admissíveis, então a aceitação cai rápido conforme a profundidade da proposta aumenta, e gerar um bloco longo não compensa. Código e matemática se comportam de outro modo: a sintaxe, os identificadores repetidos e as deduções passo a passo restringem mais os tokens futuros e criam trechos longos e previsíveis. Por isso, o AngelSpec entrega dois modelos draft em vez de um meio-termo: o MTP é treinado com dados variados de diálogo, e o block-diffusion é reforçado com exemplos de código e matemática.

"O

AngelSpec trata a heterogeneidade da carga como uma restrição de projeto de primeira classe", diz a análise do MarkTechPost.

Como funciona o caminho MTP

O caminho MTP resolve o descompasso entre treinamento e inferência com um esquema de parâmetros compartilhados e múltiplas profundidades. O modelo Hy3 original foi treinado com uma única camada MTP, sem desdobramento recorrente, e por isso os tokens da segunda e da terceira posição do rascunho eram aceitos de forma bem pior. O AngelSpec mantém D profundidades lógicas, mas reaproveita um único bloco MTP físico, desdobrando-o em D passos durante o treinamento. Seguindo o princípio Training-Time Test do EAGLE-3, a profundidade k+1 recebe não o token de referência, mas a predição argmax da profundidade k. Além disso, o backbone principal e a cabeça de linguagem ficam congelados, e o treinamento usa execuções do próprio modelo target.

O efeito se concentra onde é necessário. Segundo a Tencent, no benchmark GSM8K a aceitação da terceira posição subiu de 0,290 para 0,706, e no HumanEval, de 0,387 para 0,757, enquanto a primeira posição quase não mudou (0,799 → 0,814).

O que isso significa

O AngelSpec mostra que vale mais a pena construir a aceleração da inferência não para um benchmark médio, mas para a heterogeneidade real da carga, com modelos draft diferentes para diálogo e para código. Para as equipes que operam LLMs em produção, é uma ferramenta aberta para extrair mais velocidade do mesmo hardware sem queda de qualidade.

Perguntas frequentes

O que é speculative decoding em palavras simples?

É um método de aceleração de LLMs em que um modelo pequeno adivinha vários tokens seguintes à frente, e o modelo grande os verifica em uma única passagem. Se o palpite estiver certo, a geração fica mais rápida; a qualidade do texto, nesse caso, não muda.

Em que o AngelSpec difere de um único modelo draft?

O AngelSpec treina dois modelos especializados: um MTP para diálogos de alta entropia e um block-parallel para código e matemática, com trechos longos e previsíveis. Pelas medições da Tencent, isso elevou a taxa média de aceitação de tokens de 52,8% para 66,4%.