DRLM de 6M de parâmetros resolve 93,9% do Sudoku-Extreme sem difusão reversa

O Draft Refinement Language Model, ou DRLM, tem apenas 6 milhões de parâmetros e resolve 93,9% das tarefas do Sudoku-Extreme e 44,4% das do Countdown-5. Segundo os autores, no Countdown, no Sudoku-Extreme e no Maze-Hard ele supera tanto modelos de referência autorregressivos quanto de difusão discreta. A principal diferença é que o DRLM não usa a etapa reversa de difusão. Ele edita o rascunho inteiro e só aceita a edição se o resultado melhorar segundo uma métrica interna.

O problema: bons tokens não garantem uma boa resposta

Um rascunho ajuda o modelo a raciocinar porque permite rever cada decisão à luz de todas as outras. No sudoku, o número de uma célula só faz sentido em conjunto com os números das células vizinhas. A difusão discreta, com seus ciclos repetidos de remoção de ruído, não garante essa consistência. Cada atualização de token, isoladamente, parece plausível, mas o conjunto não é obrigado a formar uma resposta melhor. Os autores constroem o método em torno dessa lacuna.

Como funciona o DRLM

O sistema tem um único denoiser, que desempenha dois papéis. Ele é treinado para reconstruir cada token a partir de rascunhos corrompidos de maneira uniforme. O treinamento envolve tanto tokens corrompidos quanto intactos, então o modelo aprende ao mesmo tempo a preservar o que está certo e a corrigir o que está errado. As previsões do denoiser já definem as edições, e a etapa reversa de difusão não é necessária para isso.

O segundo papel é mais complexo: avaliar o candidato. A confiança do modelo em um token existente tem duas partes. A primeira é o suporte do contexto, ou seja, do prompt e do restante do rascunho. A segunda é a evidência dada pelo simples fato de o token estar visível na entrada. Essa segunda parte infla a confiança no que já está escrito. Como o processo de corrupção é conhecido, os autores subtraem esse autoefeito e obtêm uma estimativa de quanto o token é sustentado pelo restante do contexto.

Energia de cavidade e o ciclo de cada rodada

As avaliações por token são agregadas na “energia de cavidade” (cavity energy). Ela é calculada em um único passe direto, sem necessidade de um modelo scorer adicional. Cada rodada funciona assim:

• o denoiser propõe uma edição paralela do rascunho;
• o candidato pronto é relido, agora em seu novo contexto;
• a edição é mantida somente se a energia do candidato for menor que a do rascunho atual.

Como resultado, o processo ganha um critério de reversão. Uma edição ruim não se acumula, como pode acontecer na remoção de ruído iterativa às cegas.

O que mostraram os testes

• Benchmarks: Countdown, Sudoku-Extreme, Maze-Hard.
• Modelos de referência: autorregressivos e de difusão discreta; o DRLM os supera.
• Tamanho: 6M de parâmetros.
• Countdown-5: 44,4%.
• Sudoku-Extreme: 93,9%.

As limitações também são evidentes. Os três conjuntos são tarefas sintéticas com estrutura rígida e verificável, e o modelo é minúsculo. O resumo do artigo não deixa claro como o método se comporta em texto aberto, em código ou em longas cadeias de raciocínio. Também não está claro até que ponto o ganho se mantém ao escalar para bilhões de parâmetros. Os números dos modelos de referência não aparecem no resumo, então a dimensão da vantagem só pode ser conferida no próprio artigo.

O que isso significa para quem trabalha na prática

Para quem constrói sistemas de reasoning, o valor está no esquema “propor, reler, aceitar ou rejeitar”. Ele oferece um verificador embutido sem um segundo modelo, o que significa que não acrescenta o custo de um reward model separado nem de um juiz externo. Se, nas suas tarefas, a consistência global é importante (planejamento, restrições, quebra-cabeças, saída estruturada), vale testar o método por reprodução. O primeiro passo é compará-lo com a sua base autorregressiva, com o mesmo orçamento computacional. Vale acompanhar se surgirão resultados em tarefas de linguagem natural e de código. Por enquanto, é uma proposta convincente para uma classe de tarefas com resposta verificável, e não um substituto pronto para LLMs de uso geral.