La optimización convexa online recorre en 20 años el camino de la teoría a Adam y los LLM

Hace veinte años, la online convex optimization (OCO) era todavía una disciplina joven, situada entre la informática teórica, el aprendizaje automático y la optimización. Hoy su lenguaje (regret, actualizaciones adaptativas, decisiones secuenciales sin conocer el futuro) está integrado en la forma en que se entrenan los modelos actuales. El medio chino Jiqizhixin ha dedicado a este recorrido un extenso reportaje con un titular irónico: un hombre que ha pasado toda su vida estudiando el «arrepentimiento» (regret) afirma que no se arrepiente de nada.

En el fragmento al que hemos tenido acceso, el texto se interrumpe en una enumeración de métodos (Online Newton Step y siguientes) y no se nombra al protagonista. Por eso, a continuación nos basamos en la historia pública del campo y no en los detalles de la entrevista.

Qué mide el regret

El planteamiento habitual de un problema de optimización conoce de antemano toda la función de pérdida. En la OCO ocurre lo contrario. En cada paso, el algoritmo elige un punto y solo después el entorno revela una función de pérdida convexa. La calidad se mide con el regret: la suma de las pérdidas del algoritmo menos la suma de las pérdidas de la mejor solución fija, que solo puede elegirse a posteriori.

El principal logro del campo es que se consigue un regret sublineal. En ese caso, las pérdidas medias del algoritmo tienden a las de la mejor elección constante, y ello sin suposiciones estadísticas sobre los datos. El trabajo clásico de Martin Zinkevich, de 2003, demostró que el descenso de gradiente online produce un regret del orden de √T en funciones convexas lipschitzianas. Ese resultado fue el punto de partida.

Del Online Newton Step a los optimizadores adaptativos

Hacia 2006, Elad Hazan, Amit Agarwal y Satyen Kale propusieron el algoritmo Online Newton Step. Para las llamadas funciones exp-concave, ofrece un regret del orden de log T, es decir, notablemente mejor que √T. La idea consiste en usar información de segundo orden: el paso se ajusta a la geometría de los gradientes acumulados.

De esta línea surgieron después métodos que conoce cualquiera que haya lanzado un entrenamiento:

• AdaGrad (Duchi, Hazan, Singer, 2011): una escala de paso distinta para cada parámetro. Funciona bien con características dispersas.
• RMSProp y Adam (2014): descendientes prácticos de la misma idea, con promedio exponencial de los gradientes.
• El análisis de regret como estándar de demostración: la justificación original de la convergencia de Adam se construyó precisamente en el marco de la OCO.

Hay además un episodio revelador. En 2018, el artículo «On the Convergence of Adam and Beyond» (Reddi y coautores, ICLR) mostró que la demostración original de Adam contiene un error y que el método puede no converger en algunos problemas convexos. La corrección, AMSGrad, también se formuló en el lenguaje del regret. La teoría no se limitó a describir la práctica: también detectó sus errores.

Por qué importa ahora

Los grandes modelos de lenguaje suelen entrenarse con variantes de Adam, casi siempre AdamW. Allí el problema es no convexo y las garantías de la OCO no se trasladan directamente. Lo que sí se traslada es la intuición: pasos adaptativos, precondicionamiento, consideración de la curvatura. La investigación actual sobre optimizadores con precondicionadores matriciales continúa esa misma línea, en la que la adaptación diagonal de AdaGrad cede el paso a estructuras más ricas.

Otra rama se vincula con el aprendizaje online en sentido estricto. La minimización del regret está en la base de algoritmos para juegos, sistemas de recomendación, fijación dinámica de precios y asignación de recursos. En estos problemas el futuro es realmente desconocido y los datos no tienen por qué ser independientes.

Qué llevarse a la práctica

Si entrena o ajusta modelos, conviene recordar de dónde salen los hiperparámetros del optimizador. El epsilon, los coeficientes beta y el calendario del paso no son arbitrarios: tienen un sentido teórico. Ese sentido ayuda a depurar entrenamientos inestables, pues la divergencia suele deberse a que el promedio adaptativo «olvida» gradientes raros pero grandes, justo en la línea del contraejemplo a Adam.

Para quienes construyen sistemas con decisiones secuenciales (recomendaciones, pujas en subastas publicitarias, enrutamiento de peticiones entre modelos), la OCO ofrece un marco ya listo. Permite comparar algoritmos con una referencia honesta y obtener garantías sin suponer nada sobre la distribución. Para introducirse en el tema sirve el libro de Hazan «Introduction to Online Convex Optimization». Conviene leer en el original la entrevista completa en el sitio de Jiqizhixin: tras el titular sobre «cero arrepentimientos», a juzgar por el avance, hay una historia personal de veinte años de desarrollo del método.