Habr: cómo los datos sintéticos ayudan a entrenar modelos y por qué el self-training conduce al colapso

Los datos sintéticos se han convertido para la industria de la IA no en una técnica de moda, sino en una forma de prolongar el crecimiento de los modelos en condiciones de escasez de corpus de alta calidad generados por humanos. Mientras que la computación puede ser adquirida, los buenos datos se vuelven más caros, se limpian lentamente y a menudo se topan con limitaciones de privacidad, derechos de autor y disponibilidad. Por eso, las empresas cada vez más generan datos por sí mismas: producen textos, diálogos, imágenes, anotaciones y escenarios, y luego los utilizan para fine-tuning.

Esto realmente funciona, pero solo hasta el punto en que el modelo comienza a encerrarse en sus propias respuestas y gradualmente pierde contacto con la distribución real del mundo. La razón es clara: gran parte de internet abierto ya se ha agotado, los nuevos conjuntos de datos son costosos, y los requisitos de calidad solo crecen. Para un modelo fuerte, no es suficiente simplemente recopilar miles de millones de tokens; también debe eliminar basura, duplicados, errores, fragmentos jurídicamente cuestionables y toxicidad aleatoria.

Ante este panorama, los datos sintéticos parecen ser un combustible casi ideal. Pueden ser producidos rápidamente, adaptados a una tarea específica y con el balance de clases necesario. Si un sistema carece de ejemplos de fallos raros, diálogos largos, instrucciones especializadas o casos extremos, los datos sintéticos permiten cerrar estas brechas mucho más rápidamente que la recopilación y anotación manual.

Es aquí donde aparece el self-training, o auto-entrenamiento, cuando un modelo aprende de respuestas que él o otro modelo de la misma familia generó anteriormente. En forma moderada, este enfoque es útil. Primero, un sistema fuerte crea ejemplos aproximados, luego un filtro más estricto, regla o humano descarta variantes débiles, y el conjunto final va al entrenamiento.

De esta manera, puede escalar instrucciones, sintetizar combinaciones raras de características y obtener datos adicionales donde los humanos no pueden seguir el ritmo de los experimentos. En tareas aplicadas, esto es especialmente valioso para probar asistentes, entrenar sistemas en reglas formales y equilibrar conjuntos de datos, donde las observaciones reales están inherentemente sesgadas. Los problemas comienzan cuando la recursión deja de ser controlada.

Si un modelo aprende repetidamente de sus propias generaciones, comienza a amplificar no solo patrones útiles sino también sus propias distorsiones. Las respuestas más frecuentes se vuelven aún más probables, mientras que los casos raros, ruidosos e inconvencionales se desvanecen. Esto se llama model collapse: la distribución de datos se contrae, la diversidad disminuye, y el sistema pierde de vista los límites de la realidad.

En la superficie, la degradación puede no parecer dramática—el modelo aún escribe de manera fluida y confiada—pero internamente pierde profundidad. Encuentra ejemplos inesperados con menos frecuencia, transfiere conocimiento a nuevos dominios peor, y más frecuentemente reproduce una versión promediada del mundo, en el cual toda la complejidad ya ha sido borrada. Por lo tanto, los datos sintéticos son útiles no como un reemplazo completo de datos humanos, sino como una capa sobre ellos.

El esquema de trabajo típico se ve así: el corpus real establece la distribución de línea base, los datos sintéticos expanden la cobertura, y el control de calidad impide que el modelo se deslice en un bucle cerrado. Para esto, necesita validación en conjuntos independientes, inyecciones de datos humanos frescos, verificación de casos raros y filtros que descarten generaciones demasiado formulaicas. Cuanto mayor sea la proporción de datos sintéticos, más importante es recordar que la calidad aquí se determina no por volumen, sino por diversidad y proximidad a la realidad.

De lo contrario, las ganancias rápidas en costo y velocidad se convierten en degradación oculta, que solo puede notarse cuando el producto comienza a funcionar peor para usuarios reales. La conclusión principal es que los datos sintéticos y el self-training no eliminan el problema de los datos, sino que simplemente cambian la forma en que trabajamos con él. Este es un acelerador poderoso, si se usa en dosis medidas y bajo control.

Pero si convierte la generación en un espejo infinito, el modelo aprenderá no el mundo, sino su propia sombra estadística. Para la siguiente etapa del desarrollo de la IA, ganarán no los que simplemente sintetizan más, sino los que logren mantener contacto con la realidad y la diversidad de los datos originales.