Los modelos generativos ya se pueden entrenar de extremo a extremo: el secreto es un bucle for

Los investigadores cuyo trabajo analiza Jiqizhixin muestran que los modelos generativos pueden entrenarse de extremo a extremo (end-to-end), con el mismo principio que revolucionó la visión por computador en 2012. El mecanismo clave resultó ser sorprendentemente simple: un bucle `for` corriente.

Qué demostró AlexNet en 2012

Antes de AlexNet, las tareas de visión por computador se resolvían con pipelines manuales de varias etapas: los investigadores diseñaban a mano detectores de bordes, texturas y formas y los encadenaban en una secuencia. En 2012, AlexNet entregó todo el proceso a la red neuronal, que se entrenó sobre la tarea completa, y superó a sus competidores en la competición ImageNet por más de 10 puntos porcentuales.

Desde entonces, el principio del entrenamiento de extremo a extremo se ha impuesto en cada nueva tarea de visión por computador:

• 2012 — clasificación de imágenes: AlexNet supera a los métodos manuales en más de un 10%
• 2013–2015 — detección de objetos: R-CNN y YOLO sustituyen a los pipelines compuestos
• 2015–2017 — segmentación semántica: FCN y U-Net se entrenan de extremo a extremo

En todos los casos, un único sistema entrenable superó al pipeline manual. La lógica es la misma: en lugar de optimizar cada etapa por separado, es mejor dejar que el modelo busque la solución a través de la tarea completa.

Por qué los modelos generativos seguían siendo una excepción

Los generadores de imágenes actuales, los modelos de difusión, producen el resultado de forma iterativa: en decenas o cientos de pasos convierten ruido aleatorio en una imagen. Los modelos autorregresivos funcionan de otra manera, pero también paso a paso: token por token.

Propagar el gradiente a través de un proceso iterativo así resultaba o bien prohibitivo en términos de cómputo, o bien exigía soluciones arquitectónicas especiales. Como consecuencia, los componentes de los sistemas generativos se entrenaban tradicionalmente por separado y se unían a mano en la etapa de inferencia: exactamente el esquema que AlexNet demostró que era subóptimo en las tareas de reconocimiento.

El problema es de fondo: cada paso de la difusión depende del anterior, y la cadena de dependencias crece rápidamente. Almacenar todo el grafo de cálculo para la retropropagación a lo largo de cientos de pasos supone una explosión de memoria y gradientes inestables.

Cómo un bucle for cambia el enfoque del entrenamiento

Los autores muestran que el proceso iterativo de generación se puede hacer diferenciable con solo organizarlo como un bucle `for` estándar. Toda la secuencia de pasos, desde el ruido inicial hasta la imagen final, se integra en una única cadena de cálculo por la que circula el gradiente.

«AlexNet demostró algo que desde entonces se ha confirmado una y otra

vez: entregar la tarea completa al entrenamiento de extremo a extremo del modelo es casi siempre mejor que un pipeline por etapas cuidadosamente diseñado por humanos», según el material de Jiqizhixin.

La analogía con AlexNet es directa: antes de 2012, las características para el reconocimiento de imágenes también pasaban por un pipeline de varias etapas, y optimizar cada etapa por separado parecía lo correcto. AlexNet mostró que, si se permite que toda la cadena sea diferenciable como un conjunto, el modelo encuentra por sí solo la mejor estrategia. Ahora se propone lo mismo para el ciclo de generación.

No hace falta una arquitectura nueva ni un optimizador exótico. La retropropagación del error estándar, implementada mediante una construcción básica del lenguaje de programación, permite entrenar todo el proceso de generación como un único sistema. Los frameworks actuales, PyTorch y JAX, admiten de forma nativa la diferenciación de operaciones dentro de un bucle.

Qué significa

Si el entrenamiento de extremo a extremo escala a los grandes modelos generativos, podría cambiar los estándares de su entrenamiento igual que AlexNet cambió los enfoques en las tareas de reconocimiento. En lugar de componentes dispersos, entrenados uno tras otro, tendríamos un sistema único que optimiza por sí mismo la estrategia de generación. La historia del aprendizaje profundo muestra que, cuando un modelo puede aprender sobre la tarea completa, casi siempre encuentra una solución mejor que la diseñada a mano.