Habr AI: un metamodelo para diagnosticar el entrenamiento de redes neuronales detecta fallos a partir de las curvas de aprendizaje

Habr AI ha descrito un metamodelo experimental que intenta entender de forma automática qué ocurre durante el entrenamiento de una red neuronal. En lugar de revisar a mano las curvas de aprendizaje, el autor propone un clasificador independiente capaz de reconocer, a partir de las métricas y la forma de las curvas, infraajuste, sobreajuste y problemas con los datos.

Para qué sirve

Normalmente, el ingeniero mira la accuracy de train y de validation, compara la distancia entre ambas e intenta juzgar a ojo si hay progreso o si ya toca detener el entrenamiento. Ese método funciona mientras los experimentos son pocos, pero se vuelve rutina enseguida cuando hay que lanzar decenas de modelos y vigilar distintos escenarios. El autor parte de una idea sencilla: si una persona sabe leer las curvas de entrenamiento y detectar patrones típicos, se puede intentar enseñar lo mismo a otro modelo.

Entrenamiento del modelo → curvas de aprendizaje → características →

metaclasificador → parada en el momento ideal.

La clave es que el metamodelo no analiza las imágenes o textos originales, sino el estado del modelo principal en un momento concreto del entrenamiento. El beneficio potencial es claro: detener antes las ejecuciones sin futuro, detectar más rápido el sobreajuste y no gastar épocas en algo que ya no aportará una mejora apreciable. El propio autor reconoce con honestidad que la eficacia en producción y la transferibilidad a distintas tareas siguen abiertas: se trata de una hipótesis de trabajo, no de un estándar industrial listo.

Cómo se construyó el dataset

Para entrenar esta capa de diagnóstico, el autor generó primero un dataset propio de experimentos basado en MNIST. Los modelos base fueron regresión logística, un MLP pequeño y otro grande, y dos CNN de distinto tamaño. En total resultaron 270 ejecuciones, evaluadas no solo al final, sino también en etapas intermedias tras 1, 5, 6, 11, 16, 21 y 26 épocas. Esto importa: el metaclasificador debe reconocer los problemas durante el entrenamiento, no a posteriori.

En cada ejecución variaban varias condiciones:

• tamaño de la muestra de entrenamiento
• seed aleatorio
• presencia de desequilibrio artificial de clases
• tipo de cambio de datos en el test, incluidos noise e invert

Para cada punto, el autor guardó la accuracy de train, validation y test, la diferencia entre train y validation, el historial de la curva de validación y el número de época. Después, los datos recibieron etiquetas de diagnóstico con reglas simples: underfitting si la accuracy de train es inferior a 0.7; overfitting si la brecha supera 0.15; dataset shift si la accuracy de validation es notablemente mayor que la de test. Estas reglas simplifican el problema y no pretenden ser universales, pero ofrecen un conjunto inicial de etiquetas para el experimento.

Qué mostraron las pruebas

El conjunto de características tiene especial interés. En lugar de gráficos en bruto, el autor extrajo de cada curva de aprendizaje varias medidas compactas: el valor inicial, el punto medio, el punto final, el crecimiento total y la desviación estándar como medida de estabilidad. Estas características, junto con las métricas básicas, se pasaron a un clasificador multietiqueta mediante MultiOutputClassifier. Se probaron Random Forest, XGBoost, Logistic Regression y un ensamble de modelos para ver qué algoritmo lee mejor la dinámica del entrenamiento.

Random Forest dio el mejor resultado. En la clasificación global, el modelo alcanzó aproximadamente 0.89 de micro F1 y 0.88 de macro F1, y destacó sobre todo en la detección de infraajuste y de cambio de datos. La regresión logística quedó, como era de esperar, por detrás, porque le cuesta más captar las relaciones no lineales entre la forma de la curva y el estado del entrenamiento. El ensamble apenas mejoró el resultado, lo que también es revelador: en este planteamiento importa más la calidad de las características y del etiquetado que complicar el clasificador final.

Qué significa

La idea de un metamodelo para diagnosticar el entrenamiento parece práctica: incluso en un experimento sencillo muestra que las curvas de aprendizaje no solo se pueden mirar a ojo, sino también formalizar. Si el enfoque supera la prueba con datasets más complejos y pipelines de ML reales, podría servir de base para un early stopping más inteligente y una monitorización automática de la calidad del entrenamiento.