Decodificação restrita não quebra o raciocínio dos LLMs: teste em 11 modelos abertos

A decodificação restrita — forçar a geração de um LLM a seguir um formato predefinido — é vista há tempos como um compromisso inevitável: quem quer um JSON válido ou uma resposta em formato estrito supostamente precisa pagar o preço em qualidade de raciocínio. Os autores do preprint arXiv 2610.35328 testaram essa suposição em quatro famílias de modelos e onze modelos abertos. A conclusão: o mecanismo de restrição em si não quebra o raciocínio. Boa parte das quedas observadas antes se explica por prompts e formatos de saída incomparáveis nos experimentos, não pela restrição propriamente dita.

De onde veio a desconfiança em relação à decodificação restrita

A intuição é fácil de entender. Se, a cada passo, parte dos tokens é mascarada, a distribuição de probabilidades se distorce e o modelo supostamente é forçado a escolher opções piores. Na prática, isso era sustentado por comparações do tipo "geração livre versus saída estruturada". Mas nessas comparações não era só a restrição que mudava. O prompt também mudava, assim como o formato da resposta e o método de extração do resultado. Os autores mostram que, ao alinhar as condições, boa parte do efeito desaparece. O que parecia ser o custo da restrição era, na verdade, o custo de formulações diferentes do problema.

Além disso, o trabalho traz uma justificativa teórica: restrições bem escolhidas podem manter ou até melhorar a qualidade, pois eliminam do espaço de busca caminhos claramente inválidos.

Três tipos de restrições, três efeitos diferentes

A principal contribuição do trabalho é sua taxonomia. Em vez de perguntar se a decodificação restrita prejudica o desempenho, os autores distinguem três classes de restrições:

• Restrições sobre a estrutura da saída. Definem o formato da resposta: um esquema, um template, uma gramática. O objetivo é obter um resultado legível por máquina.
• Restrições sobre a validade da resposta. Mascaram opções não permitidas, como uma resposta fora do conjunto de valores aceitos. Essas restrições aumentam a confiabilidade e a extraibilidade da resposta, já que resultados inválidos simplesmente não são gerados.
• Restrições sobre a trajetória de raciocínio. Reduzem os caminhos possíveis pelos quais o modelo chega à resposta. Se a trajetória for bem escolhida, a qualidade do raciocínio melhora, e com ela a precisão final.

A conclusão do estudo é que o impacto da decodificação restrita depende do tipo de restrição e de qual parte do espaço de saída ela elimina. Se elimina ruído, há ganho possível. Se corta caminhos de raciocínio úteis, as perdas são reais.

Como os testes foram feitos

Os experimentos foram realizados em diversos benchmarks, com estratégias modernas de decodificação restrita. Cobertura: quatro famílias de modelos e onze modelos abertos. Para quem trabalha na área, a metodologia é essencial: as comparações foram projetadas para que diferenças em prompts e formatos não fossem confundidas com o efeito da própria restrição. Os autores publicaram o código, permitindo reproduzir os resultados e aplicá-los a outras stacks.

O que mudar em produção

Equipes que constroem agentes, extração de dados e chamadas de ferramentas costumam evitar a saída estruturada por medo de perder qualidade. Este trabalho dá motivos para repensar essa decisão. Antes de adotar restrições, vale identificar a que classe elas pertencem: se apenas definem a estrutura ou filtram respostas inválidas, o risco para a precisão, segundo os dados da pesquisa, é baixo, enquanto o ganho em estabilidade de parsing é expressivo.

Em testes A/B, é preciso comparar formulações equivalentes: mesmas instruções, mesmo formato de resposta final, mesmo procedimento de extração. Caso contrário, mede-se a diferença entre prompts, não entre métodos de decodificação. Restrições sobre a trajetória de raciocínio devem ser tratadas como uma ferramenta de ajuste de qualidade: podem ajudar, mas sua utilidade precisa ser validada nas próprias tarefas e nos próprios modelos.