OPST: modelo se aperfeiçoa com as próprias perguntas, sem humanos

É possível melhorar um modelo de linguagem sem mostrar a ele nenhuma pergunta nem nenhuma resposta escrita por humanos? Leon Sick, Lukas Hoyer, Yannik Strümpler, Christian Reisswig, Timo Ropinski e Federico Tombari respondem que sim. O método deles, o On-Policy Self-Training (OPST), foi publicado no preprint arXiv 2610.32770 e no resumo do Hugging Face Daily Papers. O modelo monta o próprio currículo, resolve as tarefas sozinho e evolui com isso. O humano define apenas grandes categorias temáticas.

Da autodestilação ao autotreinamento

A on-policy self-distillation já se tornou uma forma funcional de pós-treinamento: o modelo de fundação passa por ajuste fino sem um professor externo forte. Quem faz o papel de professor é o próprio modelo, mas com informação “privilegiada”. Pode ser, por exemplo, uma solução pronta ou uma demonstração de raciocínio que o aluno não tem no contexto. O aluno treina com as próprias gerações e se aproxima do comportamento do professor.

As abordagens existentes têm um ponto fraco. A informação privilegiada ainda vem de pares de referência “pergunta — resposta”, de conjuntos de tarefas anotados ou de outros sinais de supervisão. Os autores eliminam essa última muleta. Eles reformulam a autodestilação como autotreinamento: perguntas, respostas e demonstrações de raciocínio são todas geradas pelo próprio modelo.

Como o modelo define as próprias tarefas

O pipeline do OPST reúne várias etapas:

• Descrições temáticas de alto nível. A única entrada externa. São formulações genéricas de áreas de conhecimento, sem tarefas concretas.
• Perguntas e respostas autogeradas. Para cada tema, o modelo compõe seu próprio conjunto de consultas, ou seja, o seu currículo.
• Traços de raciocínio privilegiados. Para cada pergunta, o modelo produz uma demonstração da solução. Ela serve como sinal do “professor” na autodestilação.
• Filtro de pseudoverificação. A tarefa só permanece se o modelo reproduzir a própria resposta em um contexto novo e com a pergunta reformulada. Isso descarta respostas aleatórias e instáveis, isto é, alucinações.
• Autodestilação on-policy. O treinamento usa trajetórias geradas pelo próprio modelo, e não dados de terceiros.
• Visual OPST. Extensão para entradas multimodais, validada em Visual Question Answering.

O filtro talvez seja o detalhe mais importante. Sem anotação externa, o modelo não tem como saber se está certo. Os autores trocam a verdade pela autoconsistência. Se uma resposta se reproduz em um contexto limpo e sobrevive à reformulação, ela provavelmente não é um artefato aleatório de uma única geração. Isso não garante que a resposta esteja correta, mas é um sinal de qualidade barato e escalável.

O que foi testado e quais foram os resultados

Os autores avaliaram o método em três frentes. A primeira é a melhora dentro do domínio em que o modelo se autotreinou. A segunda é a preservação de conhecimento em benchmarks externos, quando os domínios de geração são misturados. Esse é um teste direto de “esquecimento”: o autotreinamento com dados sintéticos costuma comprometer o que o modelo aprendeu antes. A terceira é a transferência para entradas multimodais por meio do Visual OPST.

A conclusão dos autores: o OPST melhora o raciocínio tanto textual quanto multimodal sem perguntas e respostas humanas, e supera estratégias alternativas de treinamento. O modelo evolui em vários domínios ao mesmo tempo, sem perder habilidades nas áreas em que não passou por ajuste fino. O resumo do artigo afirma que os modelos de fundação têm ricas capacidades latentes, que podem ser amplificadas sem anotação externa de tarefas e sem distribuições de tarefas selecionadas.

Por que isso importa para a indústria

O gargalo do pós-treinamento há tempos deixou de ser computação e passou a ser dados. Tarefas anotadas de qualidade, com respostas verificáveis, custam caro, e bons conjuntos abertos rapidamente se esgotam e acabam nos corpora de treinamento. Um método que se contenta com categorias temáticas reduz a barreira de entrada para equipes sem grandes orçamentos de anotação. Ele também abre caminho para adaptar modelos em nichos onde simplesmente não existem datasets de especialistas.

Há ressalvas que os profissionais devem ter em mente. Autoconsistência não equivale a verdade: o modelo pode reproduzir de forma estável o mesmo erro, e o filtro vai deixá-lo passar. O teto do autoaperfeiçoamento é definido pelo que já está embutido no modelo base, e os próprios autores falam em amplificar capacidades latentes, e não no surgimento de novos conhecimentos. Por isso, para equipes que fazem ajuste fino dos próprios modelos, um primeiro passo sensato é este: adotar o método como complemento ao pós-treinamento já existente, manter uma amostra separada com verificação externa e monitorar à parte a degradação em domínios não relacionados. Esse é justamente o parâmetro que os autores estudaram em primeiro lugar.

A principal pergunta prática agora é até onde esse esquema escala em tamanho de modelo e em número de iterações de autotreinamento. O artigo mostra que, mesmo com supervisão humana zero, é possível extrair do próprio modelo o sinal para ele crescer.