TraceForge treina modelos com os “próprios pensamentos”: +7,1 pontos no MBPP+

A equipe do TraceForge propôs um método de destilação para o caso em que o professor entrega apenas a resposta e esconde o raciocínio. Em vez de tentar extrair a cadeia de pensamento oculta, o sistema pega o contexto e a resposta final do professor e escreve o raciocínio por conta própria, no estilo da família do modelo aluno. Em cinco benchmarks, com as demais condições iguais, as tarefas gerais quase não mostraram diferença, mas em código o ganho é perceptível: com as mesmas 5 000 perguntas e as mesmas respostas do professor, o HumanEval+ subiu 3,7 pontos e o MBPP+ 7,1.

Raciocínios fechados e um atalho frágil

Gerar dados de treinamento com uma LLM para outra continua sendo uma das formas mais versáteis de treinar modelos. Mas parte das equipes de fronteira (frontier) fechou esse canal para os próprios sistemas: o que sai é a resposta ou um resumo curto, sem o trace detalhado do raciocínio. Os autores do TraceForge apontam a ironia: esses modelos cresceram destilando conhecimento humano, e destilar um modelo aberto continua sendo prática comum. A restrição vale apenas para as saídas dos próprios modelos fechados.

Trabalhos recentes conseguiram recuperar raciocínios ocultos reaproveitando blocos criptografados entre modelos. O método funciona, mas viola os termos de uso dos provedores. Não dá para construir um produto de longo prazo em cima disso, porque qualquer revisão das regras ou da proteção técnica zera todo o pipeline.

Gerador e crítico: como montar os pensamentos alheios com as próprias mãos

O TraceForge parte de outra direção. A entrada é o contexto e a resposta do professor, e o raciocínio é escrito por um gerador treinado para reproduzir traces da família de modelos desejada.

O treinamento tem duas etapas. Primeiro, a supervised: o gerador aprende a reconstruir os traces reais da família a partir do contexto e da resposta. Depois, a adversarial: um crítico aprende a avaliar o quanto um trace parece real, e o gerador se ajusta a ele. No fim, ao receber a resposta do professor, o gerador escreve o raciocínio como o escreveria um modelo da família do aluno.

A verossimilhança foi medida por um juiz independente, que estima a probabilidade de o trace ser autêntico, em uma escala de 0 a 1. Os autores ressaltam que são notas de autenticidade, e não a proporção de soluções corretas.

• Traces gerados: média de 0,68
• Traces reais: 0,66
• Traces escolhidos pelo crítico entre quatro candidatos: 0,82
• Amostra de treinamento: 5 000 perguntas com as mesmas respostas do professor
• HumanEval+: +3,7 pontos no checkpoint final
• MBPP+: +7,1 pontos no checkpoint final, com a vantagem mantida em todos os checkpoints

É preciso lembrar que o juiz avalia a semelhança com o original. Os traces gerados tiveram 0,68 contra 0,66 dos reais, e isso significa apenas que o juiz não os distingue dos reais. Esse número não diz nada sobre a correção do raciocínio. Por outro lado, escolher o melhor de quatro candidatos eleva a nota a 0,82, e o crítico se mostra útil não só no treinamento, mas também como filtro na saída.

Onde há ganho e onde não há

O experimento foi montado para que só uma variável mudasse. Cinco corpora de treinamento foram comparados em cinco benchmarks. Nas tarefas gerais, os corpora ficaram praticamente empatados. Em código, o raciocínio gerado superou o conteúdo de thinking do próprio Fable 5, com as mesmas perguntas e as mesmas respostas do professor.

Os autores ainda só levantam hipóteses sobre o motivo: um raciocínio escrito no estilo da família do aluno é mais fácil para ele assimilar. Se a hipótese estiver certa, o que importa não é a qualidade dos pensamentos alheios, mas a compatibilidade deles com a forma como o aluno monta a própria cadeia. Para código, isso é plausível: a estrutura do raciocínio é mais rígida e os erros de estilo aparecem mais nos testes.

O que mudar no pipeline de destilação

Para as equipes que fazem fine-tuning de modelos com respostas de sistemas fechados, a conclusão é prática. A falta de traces no professor não é um beco sem saída, e não é preciso contornar as restrições do provedor. Contexto e resposta bastam, e o raciocínio pode ser sintetizado localmente, sem violar as regras.

Os limites também estão claros. O ganho em tarefas gerais não foi demonstrado; ele apareceu em código. Além disso, a nota de autenticidade continua sendo um proxy, e sem verificar a correção dos traces nas suas próprias tarefas não se deve confiar nela. Um primeiro passo razoável: pegar uma tarefa de código, gerar quatro candidatos por resposta, escolher o melhor com o crítico e comparar com a amostra de base no MBPP+. Se uma diferença de cerca de sete pontos se repetir, a migração para esse pipeline compensa.