SFT-as-context devuelve a los LLM ajustados sus habilidades generales: la brecha es de solo 2,2 p. p.

El ajuste fino de un modelo de lenguaje casi siempre le cuesta parte de sus capacidades previas. Los autores de un preprint en arXiv proponen evitar ese coste sin dar un solo paso de descenso del gradiente. El método SFT-as-context hace que el modelo original, o modelo padre, responda a la consulta con la respuesta de su versión SFT en el contexto. En 19 pares «padre — modelo SFT» y 11 benchmarks, la brecha con el modelo SFT en tareas especializadas fue de unos dos puntos porcentuales. En habilidades generales, el resultado se mantuvo de media a 2,2 p. p. o menos del modelo padre.

El problema: especializarse a costa de olvidar

El supervised fine-tuning convierte un modelo generalista en un especialista en matemáticas, código u otro campo acotado. El efecto secundario es conocido: el modelo pierde parte de las capacidades generales del padre. Los más afectados son los casos que exigen ambos conjuntos de habilidades a la vez. El modelo ajustado puede resolver con seguridad la parte de su especialidad y fallar en el resto. El modelo padre hará lo contrario.

Suele atajarse el problema mezclando datos generales en el entrenamiento, fusionando pesos o aplicando esquemas de ajuste más cautelosos. Todos estos métodos exigen cómputo y una configuración cuidadosa. Aquí los autores toman otro camino.

Cómo funciona SFT-as-context

El esquema tiene dos pasos. Primero, el modelo SFT recibe la consulta y genera su respuesta. Después, el modelo padre recibe la misma consulta junto con esa respuesta en el contexto y formula el resultado final. Los pesos no se tocan. El padre asimila las técnicas especializadas mediante in-context learning y conserva sus propias capacidades generales.

Una consecuencia secundaria es que cada consulta requiere dos pasadas por los modelos y un contexto más largo. El resumen del artículo no menciona la latencia ni el coste, así que habrá que estimarlos por cuenta propia.

Qué mostraron las pruebas

Los autores compararon el método con los dos modelos de cada par: con la versión SFT en las tareas especializadas y con el padre en las generales. Las cifras clave del resumen:

• 19 pares «padre — modelo SFT» y 11 benchmarks.
• AIME 2024: 2,2 p. p. por debajo del modelo SFT.
• LiveCodeBench: 2,1 p. p. por debajo del modelo SFT.
• NutriBench-English: diferencia de 2,0 en macro MAE.
• Habilidades generales: de media, a 2,2 p. p. o menos del modelo padre.

El resultado más interesante afecta a las tareas que se sitúan en la frontera entre ambos campos. El método resolvió consultas que requieren tanto capacidades especializadas como generales, incluso cuando ni el padre ni el modelo SFT lo conseguían por separado. La respuesta del especialista funciona como una pista, y el padre completa lo que falta con sus propios conocimientos.

El enfoque no se limita a pares «emparentados». Las respuestas de un modelo SFT pequeño y abierto mejoraron el resultado de un LLM cerrado potente, y la combinación superó a cada modelo por separado. Para los equipos que trabajan a través de API y no pueden modificar los pesos, esta es la conclusión más práctica del trabajo.

Teoría y atención

Los autores construyeron un modelo bayesiano y derivaron cotas de error. En tareas especializadas, el error del método está acotado respecto al modelo SFT; en las generales, respecto al padre. Son garantías dentro de un marco teórico, no una promesa para cualquier escenario real.

También comprobaron el mecanismo. Según los mapas de atención, el modelo padre presta más atención a las respuestas útiles del modelo SFT y menos a las irrelevantes. Se parece a un uso selectivo de la pista. Esto no garantiza protección frente a una pista errónea, y a partir del resumen no se puede saber cómo se comporta el método con respuestas SFT claramente incorrectas.

Dónde puede resultar útil en la práctica

Si tiene un modelo ajustado que falla en tareas generales, SFT-as-context puede probarse como una alternativa base y económica antes de recurrir a costosos experimentos de fusión de pesos. Basta con un script de dos llamadas. Para los productos que usan modelos cerrados se abre además otra vía: un modelo pequeño de dominio, en hardware propio, genera un borrador de respuesta y un modelo potente en la nube lo lleva al resultado final.

Antes de implantarlo conviene medir tres cosas: la mejora de calidad con sus datos, la duplicación de la latencia y del consumo de tokens, y la proporción de casos en los que una respuesta errónea del modelo SFT arrastra el resultado a la baja. El resumen del trabajo original no revela estas cifras, así que la decisión dependerá de sus propias mediciones.