Un modelo pequeño para finanzas aprende de sus errores: +3 pp sin profesor

Las entidades financieras a menudo no pueden enviar datos de clientes, posiciones ni análisis internos a API externas. Les quedan los modelos abiertos, que se pueden ejecutar en servidores propios. Estos modelos suelen rendir peor que los sistemas cerrados más avanzados en cálculos de varios pasos, donde primero hay que entender las convenciones contables y luego sustituir los números en una fórmula.

Investigadores de la Universidad de California en Berkeley (el trabajo se hizo durante unas prácticas en la empresa CTGT y fue aceptado en la conferencia ICAIF'26 de Milán) proponen el método Fin-SD. Con él, la precisión de GPT-OSS-20B en el conjunto difícil FinanceReasoning Hard subió 3,03 puntos porcentuales. No hizo falta ni un profesor externo ni soluciones de referencia.

Cómo aprende el modelo del primer error

La «destilación sobre las propias ejecuciones» habitual funciona así: el estudiante resuelve el problema por sí mismo y el profesor evalúa cada uno de sus tokens. El inconveniente es que se necesita un profesor externo potente. La variante OPSD prescinde de él, pero exige una solución de referencia completa.

Fin-SD necesita aún menos. Si el modelo se equivoca, su copia congelada recibe el enunciado, la respuesta errónea del estudiante y la respuesta correcta. Y devuelve tres cosas:

• la cita del primer paso erróneo;
• una crítica breve del estilo «su lógica diverge donde define la base de pérdidas por vacancia; calcúlela solo sobre el alquiler de los apartamentos»;
• el tipo de error: conceptual o aritmético.

Los fallos aritméticos y de redondeo se descartan: no se calcula gradiente a partir de ellos. Ese tipo de errores se corrige con una calculadora en el entorno de ejecución. En la revisión manual, el clasificador acertó 48 de 50 ejemplos (96%). En la precisión final, estos problemas se siguen contando como incorrectos.

A continuación, la solución se corta justo antes del error. El estudiante y el «profesor» congelado ven el mismo prefijo correcto, pero el profesor lee además la pista. El modelo acerca su distribución de los siguientes tokens a la del profesor en un tramo de 100 tokens (se minimiza la divergencia KL inversa). Al final de cada época, la lista de fallos se recopila de nuevo y el profesor se actualiza con los pesos más recientes del estudiante.

La pista casi no importa

El resultado principal es que el contenido de la crítica resultó ser casi irrelevante.

• Si en lugar del análisis se usa una plantilla como «Su error es conceptual», la mejora sobre el modelo base es de +3,36 pp frente a +3,03 del Fin-SD completo.
• Las pistas de GPT-OSS-120B (de la misma familia y notablemente mayor) no tuvieron un efecto materialmente mayor que las escritas por el propio modelo. En el corpus, el modelo pequeño se equivoca sobre todo al elegir la convención contable, y el 20B, con la respuesta conocida a mano, localiza ese punto con bastante precisión.
• Los autores concluyen con cautela que la mayor parte de la ganancia viene de aplicar la señal justo en el lugar del error. El texto de la pista es secundario.

Frente a OPSD, Fin-SD obtuvo 72,19% contra 70,42%. En la evaluación genera un 9,5% menos de tokens. La proporción de respuestas que caben en el presupuesto de tokens también es algo mayor, aunque los autores lo describen solo como una tendencia.

Datos, comprobación de efectos secundarios y limitaciones

Los autores construyeron el corpus de entrenamiento por su cuenta. Partieron de la biblioteca de 3 133 funciones financieras de FinanceReasoning, evaluaron la dificultad de cada una en una escala de 8 puntos (con GPT-OSS-120B como evaluador) y se quedaron con las más complejas. Después, el modelo DeepSeek-V4-Flash comprobó si se podía construir un problema con una única respuesta, y quedaron 295 funciones. Sobre ellas, GPT-5.5 escribió escenarios en los que los datos de entrada no se dan directamente. Hay que deducirlos de las convenciones: alquiler anual, vacancia, «dinero realmente invertido». Solo entonces se calcula una métrica financiera como el cash-on-cash return.

El principal riesgo de ajustar un modelo en un banco es estropear un comportamiento ya configurado. Por eso los autores comprobaron el modelo tras Fin-SD con dos pruebas:

• MMLU-Pro (conocimiento general y razonamiento): no hay una caída apreciable;
• FinTrust, una auditoría con catorce métricas de cumplimiento normativo en contexto financiero: tampoco hay una degradación significativa.

Hacen falta algunas salvedades. Los experimentos se hicieron con un solo modelo (GPT-OSS-20B) y con un único corpus específico, donde los errores se deben sobre todo a la elección de la convención. El conjunto de evaluación es pequeño, 238 problemas, por lo que una diferencia de 1–3 pp queda cerca del ruido. El propio autor del método considera una hipótesis la conclusión de que el contenido de la pista es innecesario.

Qué aporta en la práctica

Para los equipos que mantienen el modelo dentro del perímetro del banco, la conclusión es sencilla y barata. ¿Hay respuestas para los problemas de entrenamiento y el propio modelo? Entonces se puede aislar el primer error conceptual, cortar la solución en ese punto y entrenar sobre el tramo corto. No hacen falta un profesor externo ni un etiquetado manual minucioso. Si la ganancia depende de verdad del lugar donde se aplica la señal, no hace falta comprar pistas caras a un modelo grande. Queda por comprobar si esto se repite con otros modelos y en otros dominios.