Modelo pequeno para finanças aprende com os próprios erros: +3 p.p. sem professor

Instituições financeiras muitas vezes não podem enviar dados de clientes, posições e análises internas para APIs externas. Sobram, então, os modelos abertos, que podem rodar em servidores próprios. Esses modelos costumam ficar atrás dos sistemas fechados de ponta em cálculos de vários passos, em que é preciso primeiro entender as convenções contábeis e só depois colocar os números na fórmula. Pesquisadores da Universidade da Califórnia em Berkeley (o trabalho foi feito durante um estágio na CTGT e aceito na conferência ICAIF'26, em Milão) propuseram o método Fin-SD. Ele elevou em 3,03 pontos percentuais a acurácia do GPT-OSS-20B no conjunto difícil FinanceReasoning Hard. Para isso, não foram necessários nem professor externo nem soluções de referência.

Como o modelo aprende com o primeiro erro

A "destilação sobre as próprias execuções" (on-policy) tradicional funciona assim: o aluno resolve a tarefa sozinho, e o professor avalia cada token dele. A desvantagem é que isso exige um professor externo forte. A variante OPSD dispensa esse professor, mas precisa da solução de referência completa.

O Fin-SD exige ainda menos. Quando o modelo erra, sua cópia congelada recebe o enunciado, a resposta errada do aluno e a resposta correta. Ela devolve três itens:

• a citação do primeiro passo errado;
• uma crítica curta, no estilo "sua lógica diverge onde você define a base da perda por vacância; calcule-a apenas sobre o aluguel dos apartamentos";
• o tipo de erro: conceitual ou aritmético.

Erros aritméticos e de arredondamento são descartados: não se calcula gradiente a partir deles. Esse tipo de erro se resolve com uma calculadora no pipeline ao redor do modelo. Na verificação manual, o classificador acertou 48 de 50 exemplos (96%). Na acurácia final, essas tarefas continuam contando como erradas.

Em seguida, a solução é cortada logo antes do erro. O aluno e o "professor" congelado veem o mesmo prefixo correto, mas o professor lê também a dica. O modelo aproxima sua distribuição dos próximos tokens da distribuição do professor em um trecho de 100 tokens (minimiza-se a divergência KL reversa). No fim de cada época, a lista de falhas é reconstruída, e o professor é atualizado para os pesos mais recentes do aluno.

A dica quase não importa

O principal resultado é que o conteúdo da crítica se mostrou quase irrelevante.

• Se, no lugar da análise, entra um modelo pronto como "Seu erro é conceitual", o ganho sobre o modelo base é de +3,36 p.p., contra +3,03 do Fin-SD completo.
• As dicas do GPT-OSS-120B (da mesma família e bem maior) não tiveram efeito materialmente maior do que as feitas pelo próprio modelo. No corpus, o modelo pequeno erra principalmente na escolha da convenção contábil, e o 20B, com a resposta certa em mãos, localiza esse ponto com precisão suficiente.
• Os autores concluem com cautela que a maior parte do ganho vem de o sinal ser aplicado exatamente no ponto do erro. O texto da dica é secundário.

Em comparação com o OPSD, o Fin-SD atingiu 72,19% contra 70,42%. Na avaliação, ele gera 9,5% menos tokens. A proporção de respostas que couberam no orçamento de tokens também é um pouco maior, embora os autores a descrevam apenas como tendência.

Dados, checagem de efeitos colaterais e limitações

Os autores montaram o corpus de treino por conta própria. Partiram de uma biblioteca de 3 133 funções financeiras do FinanceReasoning, avaliaram a dificuldade de cada uma em uma escala de 8 pontos (avaliador: GPT-OSS-120B) e ficaram com as mais difíceis. Depois, o DeepSeek-V4-Flash verificou se era possível construir uma tarefa com resposta única, e restaram 295 funções. Com base nelas, o GPT-5.5 escreveu cenários em que os dados de entrada não são fornecidos diretamente. Eles precisam ser deduzidos das convenções: aluguel anual, vacância, "dinheiro efetivamente investido". Só depois se calcula a métrica financeira, como o cash-on-cash return.

O principal risco do ajuste fino em um banco é estragar um comportamento já calibrado. Por isso, os autores testaram o modelo pós-Fin-SD em dois benchmarks:

• MMLU-Pro (conhecimento geral e raciocínio): sem queda perceptível;
• FinTrust, auditoria com quatorze métricas de compliance em contexto financeiro: também sem degradação significativa.

Há ressalvas necessárias. Os experimentos usaram um único modelo (GPT-OSS-20B) e um único corpus específico, em que os erros se ligam sobretudo à escolha da convenção. O conjunto de avaliação é pequeno: 238 tarefas, então uma diferença de 1–3 p.p. fica perto do ruído. O próprio autor do método trata a conclusão de que o conteúdo da dica é desnecessário como hipótese.

O que isso significa na prática

Para equipes que mantêm o modelo dentro do perímetro do banco, a conclusão é simples e barata. Se você tem as respostas das tarefas de treino e o próprio modelo, dá para isolar o primeiro erro conceitual, cortar a solução ali e treinar em um trecho curto. Professor externo e anotação manual detalhada não são necessários. Se o ganho realmente depende do ponto de aplicação do sinal, não é preciso pagar por dicas caras de um modelo maior. Resta verificar se isso se repete em outros modelos e em outros domínios.