El optimizador FARO reduce la pérdida de validación de GPT en 0,0136 nats en los 6 seeds de 6

Las recetas actuales para entrenar grandes modelos de lenguaje reparten el trabajo entre optimizadores de forma manual: un momento ortogonalizado como Muon actualiza las matrices de atención y las MLP, las reglas al estilo Adam se ocupan del resto, y todo el modelo comparte un único presupuesto de actualización. Investigadores de la Universidad de Ciencia y Tecnología de Hong Kong (Guangzhou) proponen FARO, un optimizador que toma esas decisiones a partir de mediciones sobre el propio modelo que se está entrenando. En un modelo de tipo GPT entrenado en FineWeb, su variante FARO-Adaptive (que solo elige la geometría de la actualización) alcanzó una pérdida de 3,2780 nats.

El complemento FARO-ERC (redistribución del presupuesto según el principio de contribución igual al riesgo, equal risk contribution) redujo la pérdida en los 6 seeds, es decir, en ejecuciones con distinta inicialización aleatoria, con una media de 0,0136 nats. El nat es la unidad natural de medida de la pérdida de entropía cruzada. El código está publicado en GitHub.

La geometría según el resultado, no según el tipo de capa

La receta estándar se apoya en dos supuestos: el tipo de capa determina la geometría de actualización adecuada (norma espectral para las matrices, adaptación por coordenada para los vectores) y un único presupuesto escalar basta para toda la red. Ambos supuestos proceden de heurísticas humanas y de pequeñas rejillas de ablación, no de mediciones sobre el modelo que se entrena. Los nuevos optimizadores matriciales (NorMuon, Scion, Dion2, ARO, PolarGrad, Newton–Muon) cambian solo un detalle de la receta y siguen fijando una única geometría para todas las matrices que tocan.

FARO convierte la propia elección en objeto de aprendizaje. Divide los parámetros en 117 bloques. Para cada bloque, aplica todas las reglas candidatas a una muestra de control reservada y se queda con la que reduce más la pérdida.

Mientras el ranking es informativo, las rutas pueden cambiar; después se congelan. Esto acota el coste de la búsqueda y elimina la elección de rutas como fuente de varianza. FARO es un marco, no una nueva regla de actualización: Muon, NorMuon y las reglas de tipo Adam entran en él como candidatas, no como competidoras.

En el apéndice, los autores muestran que la decisión por bloques es coherente con la decisión conjunta sobre todos los bloques bajo un supuesto débil de separabilidad, y estiman el límite del acoplamiento que esa decisión ignora.

Como resultado, FARO-Adaptive alcanzó 3,2780 nats con el calendario de entrenamiento completo. La mejor receta manual, NorMuonAndAdam, obtuvo 3,2794. El sistema reprodujo la heurística humana sin asignar a mano la geometría por capa.

Risk parity de la teoría de carteras

La segunda parte del trabajo se centra en el presupuesto. Tras congelar las rutas, cada bloque conserva su propio multiplicador, que escala la actualización. Tres controladores escalares (el multiplicador fraccional de Kelly, su relajación continua y una regla con estimación de complejidad) escalan un único presupuesto común. Los tres resultaron indistinguibles del FARO-Adaptive neutral al riesgo, lo que concuerda con la observación de que ampliar el paso en busca de riesgo no es productivo.

Los autores lo explican por la estructura del problema. Un escalar multiplica todos los presupuestos por el mismo factor y se mueve solo por la diagonal del símplex de presupuestos, así que no puede decidir qué bloques necesitan más actualizaciones y cuáles menos. Por eso redistribuyen el presupuesto entre bloques manteniendo la suma constante, con una regla de la teoría de carteras: la contribución igual al riesgo (ERC, también conocida como risk parity). En una cartera, los pesos se eligen para que cada activo aporte la misma parte del riesgo total. En FARO, el bloque hace de activo y la relación entre la actualización y la norma de los pesos hace de volatilidad.

El riesgo bruto de los bloques difiere en órdenes de magnitud. Por eso se acota (winsorización) respecto a la mediana de los bloques, se limita superiormente el multiplicador y se halla por bisección la escala que conserva el presupuesto total con precisión numérica. La redistribución usa solo el riesgo del paso anterior, de modo que el gradiente actual no influye en su propio presupuesto. La bisección da la solución exacta de un problema separable con riesgo, en el que un único precio escalar acopla los presupuestos; las contribuciones iguales al riesgo surgen de la solución, no se imponen. Gracias a ello, la comparación con FARO-Adaptive separa la redistribución de un simple cambio del learning rate efectivo.

Una mejora modesta, pero estable

FARO-ERC redujo la pérdida con datos limpios en los 6 seeds, con una media de 0,0136 nats y el mismo volumen de cómputo. La prueba de signos, la prueba pareada y el intervalo de confianza coinciden entre sí, y el efecto supera la dispersión medida entre ejecuciones. El tiempo y la memoria no aumentan. El mecanismo es este: ERC recorta los bloques más arriesgados, en lugar de ampliar los más seguros. Los propios autores describen la mejora como modesta, pero estable.

El método también se probó con un flujo de datos distorsionado: la pérdida media bajó igualmente y la mayoría de los seeds quedaron del lado de FARO-ERC.

La conclusión práctica para quien ajusta un preentrenamiento: el reparto manual «matrices con Muon, el resto con Adam» puede sustituirse por una medición sobre una muestra de control, y redistribuir el presupuesto entre bloques con suma fija aporta una mejora pequeña pero reproducible. La evaluación se realizó con un único modelo de tipo GPT y un único conjunto de datos, así que queda abierta la cuestión de si el resultado se traslada a otras escalas y otros datos.