DCOCO acelera a inferência de LLMs em até 6,6x e supera concorrentes em 6–23%

Pesquisadores publicaram no arXiv o DCOCO (DFlash Contextual Corrector), um método que resolve a principal fraqueza dos drafters de difusão na decodificação especulativa. Trata-se de um corretor leve que preserva a geração paralela do rascunho e devolve ao bloco as dependências entre tokens. Em quatro modelos verificadores e dez benchmarks, o método alcançou a maior vazão média em todas as configurações testadas. A aceleração máxima foi de 6,6x em relação à decodificação convencional. Com 4–32 requisições simultâneas, o método supera o concorrente mais forte em 6–23%.

Onde o rascunho paralelo falha

A decodificação especulativa funciona de forma simples. Um modelo pequeno, o drafter, propõe vários tokens à frente, e o modelo-alvo, maior, os verifica em uma única passada paralela. Tudo o que coincide com a previsão do próprio modelo-alvo é aceito. Quanto mais longo o trecho aceito, maior a velocidade.

Os drafters de difusão tornaram esse esquema mais atraente. Eles têm um backbone de attention profundo, com previsões fortes, e preenchem as posições futuras em paralelo, sem pagar o custo da autorregressão sequencial. Mas o paralelismo tem um preço. O token na terceira posição do bloco é previsto sem saber qual token ocupou a segunda. As dependências dentro do bloco, que na autorregressão surgem naturalmente, desaparecem.

Na prática, cada token isoladamente é plausível, mas os tokens vizinhos não se encaixam. O verificador descarta o final do bloco, e o comprimento do rascunho aceito cai. Parte do ganho do draft paralelo se perde.

O que o DCOCO faz

Os autores não voltaram à geração sequencial. Em vez de fixar um único líder para cada posição, o DCOCO mantém vários candidatos. Em seguida, ele avalia em paralelo o quanto os candidatos de posições vizinhas são compatíveis entre si e escolhe os tokens já levando o contexto em conta. Segundo os autores, o custo adicional é pequeno.

A diferença-chave em relação aos corretores existentes é que eles trabalham de forma sequencial. Também restauram as dependências, mas trazem de volta ao pipeline exatamente o custo sequencial de que o drafter de difusão havia se livrado. De acordo com o artigo, sob carga de 4–32 requisições simultâneas, esses corretores ficam abaixo do DFlash básico, sem nenhuma correção.

Números do abstract:

• 4 modelos verificadores e 10 benchmarks nos testes;
• maior vazão média em todas as configurações avaliadas;
• modos: decodificação gulosa e estocástica, com e sem raciocínio estendido;
• aceleração de até 6,6x em relação à decodificação convencional;
• vantagem de 6–23% sobre o concorrente mais forte com 4–32 requisições paralelas.

Vale destacar que o resultado se sustenta também nos modos com cadeias longas de raciocínio. É justamente aí que a geração é mais cara e que acelerar a inferência traz mais benefício.

O que observar na hora de adotar

Este é um preprint, e todos os números foram obtidos pelos próprios autores. O abstract não traz verificação independente nem dados sobre modelos e hardware específicos, então os 6,6x devem ser lidos como um teto, e não como o resultado esperado no seu tráfego.

Uma equipe que opera um serviço de LLM pode tirar dois pontos do trabalho. Primeiro, os métodos de aceleração não devem ser comparados apenas em requisições isoladas. Um corretor que vence com batch size 1 pode perder com 8–32 requisições concorrentes, e o estudo mostra isso de forma explícita.

Segundo, se você já usa o DFlash ou um drafter de difusão semelhante, o DCOCO parece ser um complemento, e não uma substituição de todo o esquema. Vale testá-lo com seus próprios prompts e com o perfil de carga do seu serviço: separadamente para respostas curtas e para raciocínios longos, e separadamente para sampling guloso e estocástico. É preciso acompanhar o comprimento médio do bloco aceito e os tokens por segundo na GPU, e não apenas uma métrica.