Habr AI: metamodelo para diagnosticar o treinamento de redes neurais identifica falhas pelas curvas de aprendizado

O Habr AI descreveu um metamodelo experimental que tenta entender automaticamente o que acontece durante o treinamento de uma rede neural. Em vez de examinar as curvas de aprendizado manualmente, o autor propõe um classificador separado, capaz de reconhecer, pelas métricas e pelo formato das curvas, underfitting, overfitting e problemas com os dados.

Por que isso importa

Normalmente, o engenheiro olha a accuracy de train e de validation, compara a distância entre elas e tenta avaliar a olho se ainda há progresso ou se já é hora de parar o treinamento. Isso funciona enquanto há poucos experimentos, mas vira rotina rapidamente quando é preciso rodar dezenas de modelos e acompanhar cenários diferentes. O autor parte de uma ideia simples: se uma pessoa sabe ler curvas de treinamento e notar padrões típicos, dá para tentar ensinar isso a outro modelo.

Treinamento do modelo → curvas de aprendizado → características →

metaclassificador → parada no momento ideal.

O ponto é que o metamodelo não analisa as imagens ou os textos originais, e sim o estado do modelo principal em determinado momento do treinamento. O benefício potencial é claro: interromper mais cedo execuções sem perspectiva, pegar o overfitting mais rápido e não gastar épocas extras no que já não trará ganho perceptível. O próprio autor admite com franqueza que a eficácia em produção e a transferibilidade para tarefas diferentes continuam em aberto: é uma hipótese de trabalho, não um padrão industrial pronto.

Como o dataset foi montado

Para treinar essa camada de diagnóstico, o autor primeiro gerou um dataset próprio de experimentos baseado no MNIST. Os modelos base foram regressão logística, um MLP pequeno e outro grande, além de duas CNNs de tamanhos diferentes. No total, foram 270 execuções, avaliadas não só no final, mas também em etapas intermediárias após 1, 5, 6, 11, 16, 21 e 26 épocas. Isso é importante: o metaclassificador precisa reconhecer problemas durante o treinamento, não depois do fato.

Em cada execução, várias condições variavam:

• tamanho do conjunto de treino
• seed aleatório
• presença de desbalanceamento artificial de classes
• tipo de mudança nos dados de teste, incluindo noise e invert

Para cada ponto, o autor salvou a accuracy de train, validation e test, a diferença entre train e validation, o histórico da curva de validação e o número da época. Depois, os dados receberam rótulos de diagnóstico por regras simples: underfitting se a accuracy de train for menor que 0.7; overfitting se o gap passar de 0.15; dataset shift se a accuracy de validation for nitidamente maior que a de test. Essas regras simplificam o problema e não pretendem ser universais, mas fornecem um conjunto inicial de rótulos para o experimento.

O que os testes mostraram

O conjunto de características é de especial interesse. Em vez de gráficos brutos, o autor extraiu de cada curva de aprendizado algumas medidas compactas: valor inicial, ponto médio, ponto final, crescimento total e desvio padrão como medida de estabilidade. Essas características, junto com as métricas básicas, foram enviadas a um classificador multirrótulo via MultiOutputClassifier. Foram testados Random Forest, XGBoost, Logistic Regression e um ensemble de modelos, para comparar qual algoritmo lê melhor a dinâmica do treinamento.

O Random Forest teve o melhor resultado. Na classificação geral, o modelo chegou a cerca de 0.89 de micro F1 e 0.88 de macro F1, e se destacou principalmente na detecção de underfitting e de mudança nos dados. A regressão logística, como esperado, ficou atrás, porque tem mais dificuldade de captar relações não lineares entre o formato da curva e o estado do treinamento. O ensemble quase não melhorou o resultado, o que também é revelador: nesse arranjo, a qualidade das características e da rotulagem pesa mais do que simplesmente complicar o classificador final.

O que isso significa

A ideia de um metamodelo para diagnosticar o treinamento parece prática: mesmo num experimento simples, ela mostra que as curvas de aprendizado podem ser não só observadas a olho, mas também formalizadas. Se a abordagem resistir a testes com datasets mais complexos e pipelines de ML reais, pode virar a base de um early stopping mais inteligente e de um monitoramento automático da qualidade do treinamento.