El ajuste fino SFT estrecha el comportamiento de la IA: un estudio de arXiv sobre el colapso de la diversidad

En julio de 2026, unos investigadores publicaron en arXiv el trabajo «When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play». Su conclusión: el ajuste fino estándar (SFT) mejora la precisión de los modelos de lenguaje en juegos, pero a la vez reduce drásticamente la diversidad de sus jugadas, más de lo que exige el equilibrio entre precisión y diversidad.

Qué mostró el estudio

El trabajo de arXiv (categoría cs.CL, identificador 2607.19523) analizó cómo influye el supervised fine-tuning en la diversidad de comportamiento de los modelos en la toma de decisiones secuencial. Los autores construyeron un conjunto controlado de juegos de mesa deterministas basados en variantes del tres en raya. En ellos, las jugadas óptimas se calculan con exactitud, de modo que la diversidad de comportamiento puede medirse de forma directa, sin evaluaciones discutibles. La evaluación se hizo en tres niveles a la vez: estados de juego individuales, partidas reales en modo «arena» y trayectorias del propio entrenamiento. Esto permitió ver cómo se degrada la diversidad durante el ajuste fino y no solo en el modelo final.

• Plataforma: arXiv, categoría cs.CL, identificador 2607.19523, tipo de publicación «new»
• Entorno de prueba: juegos de mesa deterministas basados en el tres en raya
• Las jugadas óptimas se calculan con exactitud, por lo que la diversidad se mide de forma directa
• La evaluación se realizó en tres niveles: estados individuales, partidas en la «arena» y trayectorias de entrenamiento
• Método de mitigación: action augmentation, entrenamiento con todas las jugadas óptimas de un estado

¿Por qué el SFT estrecha las elecciones del modelo?

El SFT estándar provoca un colapso prematuro de la diversidad: la política del modelo se reduce a un conjunto estrecho de jugadas más rápido de lo que justifica el compromiso entre precisión y diversidad. Según el estudio, el modo de razonamiento paso a paso (reasoning-mode) suele suprimir todavía más la diversidad de jugadas, sin mejorar la precisión de manera uniforme. Un matiz importante: el modo de razonamiento, que normalmente se considera una forma de mejorar las decisiones, aquí actuó contra la diversidad, porque redujo el abanico de jugadas sin una ganancia estable de precisión.

La causa, según los autores, es la «imitación de soporte estrecho» (narrow-support imitation): el modelo aprende de una sola jugada óptima mostrada para cada estado e ignora el resto de variantes equivalentes. Como resultado, pierde no solo las alternativas, sino también la tendencia a explorar el espacio de soluciones.

Cómo mitigarlo

La action augmentation resuelve el problema de forma parcial: entrena con todas las acciones óptimas de cada estado en lugar de con la única jugada mostrada. Según el resumen del trabajo, esta técnica conserva el «soporte de acciones» (action support) y mantiene el comportamiento exploratorio del modelo sin dañar la precisión. El método no elimina el problema por completo: los autores califican la mitigación de parcial, pero demuestran que plantear el entrenamiento sobre un soporte amplio de acciones ya mejora el comportamiento del modelo.

«Preservar el soporte de acciones durante el SFT es importante para

mantener el comportamiento exploratorio», señala el resumen del estudio en arXiv.

Qué significa

El trabajo apunta a un coste oculto de un método de ajuste fino muy popular: al optimizar un modelo para la precisión, los desarrolladores pueden restarle flexibilidad y tendencia a explorar sin darse cuenta. En tareas donde importa la diversidad de soluciones (agentes de juego, planificación, acciones de varios pasos), los autores aconsejan preservar el action support ya en la fase de SFT.

Preguntas frecuentes

¿Qué es el colapso de la diversidad en los modelos de lenguaje?

El colapso de la diversidad es la situación en la que, tras el ajuste fino, el modelo empieza a elegir siempre el mismo conjunto estrecho de respuestas o jugadas y pierde alternativas equivalentes. En el estudio, con el SFT estándar apareció antes de lo que exigía el equilibrio entre precisión y diversidad.

¿Cómo ayuda la action augmentation a conservar la diversidad?

La action augmentation entrena al modelo con todas las jugadas óptimas de cada estado, y no con una sola mostrada. Según el trabajo, esto mitiga de forma parcial el colapso de la diversidad y conserva el comportamiento exploratorio del modelo.