SAZO acelera el ajuste fino de LLM sin backprop: hasta 6× menos consultas para alcanzar el mismo loss

Los autores del preprint arXiv:2610.12566 presentan SAZO, Sample-Adaptive Zeroth-Order Optimization. Es un método de ajuste fino de grandes modelos de lenguaje sin backpropagation que alcanza el mismo training loss con hasta 6 veces menos consultas que los enfoques ZO estándar. No requiere ejecuciones adicionales del modelo y añade a MeZO únicamente O(N) valores escalares, donde N es el número de ejemplos de entrenamiento. Los experimentos se realizaron en cuatro familias de modelos, y los resultados medios en tareas downstream también mejoraron.

Dónde se pierde eficiencia en el entrenamiento ZO

La optimización de orden cero sustituye el gradiente exacto por una estimación. Se perturban ligeramente los pesos del modelo en una dirección aleatoria, se calcula la diferencia de loss y, a partir de ella, se da un paso. No hace falta almacenar activaciones ni gradientes, por lo que el consumo de memoria se mantiene al nivel de la inferencia. Para el ajuste fino de modelos grandes con hardware limitado, es un argumento de peso. El precio es el ruido: la estimación tiene mucha varianza y se necesitan muchos pasos.

Los métodos en uso, incluido MeZO, eligen los ejemplos de entrenamiento con la misma probabilidad. Los autores de SAZO señalan el punto débil de este esquema. La importancia de un ejemplo para el aprendizaje no es constante: algunos ejemplos ya están «asimilados» y apenas mueven los pesos, mientras que otros todavía generan un gradiente grande. El muestreo uniforme ignora este hecho e introduce en la estimación una varianza que podría evitarse.

Cómo aprende SAZO a elegir ejemplos

La dificultad clave es que en el modo ZO no existen gradientes verdaderos. Por eso SAZO extrae la información sobre la norma del gradiente de las diferencias direccionales, que el método ya calcula en cada paso. Para ello no necesita consultas adicionales al modelo.

El segundo problema es la dispersión de la señal. Un minibatch toca solo una pequeña parte del dataset, y la importancia de los ejemplos cambia a lo largo del entrenamiento. Para cada ejemplo, SAZO guarda una media móvil exponencial que acumula las observaciones entre actualizaciones. Con esas estimaciones, las consultas se distribuyen de forma adaptativa: los ejemplos relevantes entran en la muestra con mayor frecuencia.

La parte teórica se resume en dos puntos. Primero, SAZO coincide asintóticamente con el término principal de la convergencia del oráculo de muestreo de mínima varianza, es decir, un esquema ideal que en la práctica no puede conocer las normas verdaderas. Segundo, el método muestra una tasa de convergencia estrictamente más rápida que los enfoques estándar.

Parámetros clave

• Cómputo adicional: cero evaluaciones adicionales del modelo respecto a MeZO.
• Memoria adicional: O(N) escalares para el estado de las medias móviles.
• Aceleración: hasta 6× en número de consultas para alcanzar el mismo training loss.
• Calidad: mejora del resultado medio en tareas downstream.
• Alcance de la validación: cuatro familias de modelos.
• Teoría: coincidencia con el término principal del oráculo de mínima varianza y tasa de convergencia estrictamente mejor.

Conclusiones prácticas

O(N) escalares es muy poco. Para un dataset de 100 mil ejemplos en float32, son unos 400 KB, una cantidad despreciable frente a los pesos del modelo. Por tanto, la principal ventaja de ZO, el bajo consumo de memoria, se conserva casi por completo. Para los equipos que ajustan modelos en una o dos GPU y chocan con el límite de memoria del backprop, esto puede ser un camino más barato que antes.

Hay salvedades. La aceleración se mide en número de consultas, no en tiempo real (wall-clock), y el abstract no dice nada sobre la latencia efectiva. Los métodos ZO siguen necesitando muchos pasos, y la publicación no declara de forma explícita una comparación con el ajuste fino clásico basado en gradientes. Tampoco aparecen en el texto los nombres de los modelos ni de las tareas. Antes de integrar SAZO en un pipeline, conviene esperar a que se publique el código y a que haya reproducciones independientes.

Aun así, la dirección es clara. Si la elección de ejemplos en el entrenamiento ZO se puede optimizar casi sin coste, también cabe revisar otros supuestos muy asentados, como el muestreo uniforme.