CoT visível não melhora de forma universal a geração de SQL e código pandas, aponta novo estudo

Pesquisadores testaram um dos conselhos de prompting mais repetidos, “deixe o modelo pensar em voz alta”, em uma tarefa com verificação objetiva: a geração de código analítico que pode ser executado. O preprint arXiv 2610.10639 compara SQL e Python (pandas) em solicitações idênticas. Os autores não encontraram nem um ganho universal de precisão com a cadeia de raciocínio visível (Chain-of-Thought), nem um benefício estável em raciocinar “na linguagem da tarefa”. O efeito depende da persona no prompt, da linguagem de destino, da configuração do modelo e do modo de raciocínio interno.

Como o experimento foi montado

Código analítico é um bom campo de testes. A solicitação em linguagem natural é ambígua, o modelo precisa se apoiar no esquema dos dados e o resultado obedece às regras rígidas da linguagem de destino. Uma mesma pergunta sobre os dados pode ser resolvida tanto com uma consulta SQL quanto com um script pandas. Por isso, os autores montaram um benchmark em que as solicitações são pareadas entre as duas linguagens e verificaram uma suposição comum: o raciocínio visível funcionaria melhor se fosse escrito na mesma representação da resposta, ou seja, “pense em SQL” ou “pense em Python”.

O experimento combinou vários fatores:

• a formulação da persona no prompt;
• a linguagem de destino: SQL ou Python (pandas);
• o formato do CoT visível, incluindo o raciocínio na representação da linguagem de destino;
• prefixos de controle;
• a geração direta, sem raciocínio visível;
• configurações de raciocínio interno do modelo.

A qualidade foi medida pela execução do código, e não pela semelhança do texto com um gabarito. O resumo do artigo não traz resultados numéricos nem os nomes dos modelos; será preciso consultar o texto completo.

O que os resultados mostram

A principal conclusão é negativa, mas prática. O CoT visível não traz ganho geral de precisão. Alinhar a representação do raciocínio à linguagem de destino também não funciona como regra: em alguns casos ajuda, em outros não. O sinal e o tamanho do efeito dependem da combinação de persona, linguagem, modelo e configurações de raciocínio interno.

As ablações de controle têm valor à parte. Elas separam a influência do conteúdo do raciocínio da influência do formato do prompt. Parte das mudanças de qualidade pode ser explicada pelo fato de que um template ou prefixo adicional simplesmente desloca o comportamento do modelo, independentemente de ele raciocinar de forma útil ou não. Os autores resumem assim: o raciocínio visível às vezes melhora a geração executável e, outras vezes, atua principalmente como uma perturbação no comportamento do modelo. Em várias configurações, o fator decisivo acaba sendo o raciocínio interno, e não o que aparece na resposta.

O que fazer em equipes que desenvolvem text-to-SQL e agentes analíticos

O prompt “think step-by-step” não deve ser tratado como valor padrão. Ele precisa ser validado com os seus próprios dados, como qualquer outro parâmetro. Este é o conjunto mínimo de práticas que decorre do trabalho:

• Mantenha a geração direta, sem CoT visível, como linha de base obrigatória e compare com ela pelo resultado da execução das consultas.
• Teste o prompt junto com o modelo, a persona, a linguagem de destino e o modo de thinking. Transferir configurações entre combinações diferentes não é confiável.
• Adicione prefixos de controle para distinguir o benefício do raciocínio do efeito de um template longo.
• Em modelos de reasoning, verifique separadamente se o CoT visível não atrapalha o raciocínio interno.
• Não embuta dicas como “pense em SQL” no prompt de sistema sem medir o resultado no seu esquema.

As limitações também são evidentes. Trata-se de um preprint na versão v1, sem revisão por pares, e pelo resumo não é possível avaliar a escala dos efeitos nem a cobertura de modelos. Ainda assim, como arcabouço metodológico para responder onde o CoT ajuda o código executável, onde só atrapalha e onde as configurações do modelo importam mais, o trabalho é útil para qualquer equipe que tenha um assistente analítico em produção.