Phase-HDC entrena un modelo sin historial del optimizador y almacena entre 16 y 23 veces menos que Adam

Un equipo de investigadores ha publicado en arXiv Phase-HDC, un método que permite entrenar un clasificador hiperdimensional compacto guardando en memoria solo el propio modelo. En once conjuntos de datos (imágenes, tablas y texto), ocupa entre 16 y 23 veces menos espacio que el float32 Adam estándar y entre 4 y 6 veces menos que 8-bit Adam. El precio es la precisión: de media, unos cinco puntos menos que float32 Adam.

Por qué el optimizador pesa más que el modelo

Los modelos pequeños tienen un inconveniente: entrenarlos requiere mucha más memoria que almacenar el resultado final. La causa es el optimizador. Adam guarda para cada parámetro un registro de los gradientes pasados, es decir, el primer y el segundo momento. En un modelo con parámetros de pocos bits, esto se nota especialmente.

El trabajo trata sobre clasificadores hiperdimensionales (HDC) cuyos parámetros entrenables son ángulos con pocos bits. Los autores llaman a este conjunto «memoria de fase». Los registros del optimizador para esa memoria ocupan varias veces más que el propio modelo. De ahí la pregunta con la que arranca el artículo: ¿se puede entrenar un modelo así sin guardar nada más que el propio modelo?

Un paso, contra el gradiente, solo si este es grande

Phase-HDC responde con una regla muy sencilla. En cada actualización, el ángulo almacenado se desplaza como máximo un paso de la cuadrícula. La dirección se elige en contra del signo del gradiente actual. Y el parámetro solo se mueve cuando ese gradiente es lo bastante grande. No hay historial: hay un umbral sobre el valor actual.

Los autores sostienen que la regla no es una heurística, sino la solución exacta de un modelo de pérdida de primer orden en el que cada parámetro modificado paga un coste fijo. Dicho de otro modo, el umbral surge del planteamiento: solo compensa mover un parámetro cuando la ganancia esperada en la loss supera ese coste.

Principales resultados del resumen del artículo:

• en igualdad de condiciones (cambia solo la regla de actualización), Phase-HDC iguala en precisión a Adam con momentos de 6 bits, pero almacena tres veces menos;
• frente a float32 Adam, el ahorro es de entre 16 y 23 veces; frente a 8-bit Adam, de entre 4 y 6 veces;
• la pérdida media de precisión respecto a float32 Adam es de unos cinco puntos;
• en seis de los once conjuntos de datos, Phase-HDC es más preciso que 8-bit Adam;
• en la predicción de texto a nivel de byte, 8-bit Adam se desmorona y Phase-HDC no.

Qué mostraron las mediciones durante el entrenamiento

Lo más interesante del artículo es la explicación de por qué ocurre esto. Los autores instrumentaron las ejecuciones de entrenamiento para ver qué hacen realmente los momentos de Adam cuando los parámetros deben situarse en una cuadrícula discreta. Según sus conclusiones, los momentos deciden sobre todo si el parámetro se mueve o no. Es una decisión binaria, y un umbral sobre el gradiente actual puede tomarla sin ninguna memoria.

La cuantización agresiva de los momentos, en cambio, rompe precisamente esa decisión. Salen perjudicadas las entradas que aparecen raramente en los datos: sus estadísticas en los momentos son débiles y, tras el redondeo, dejan de distinguir entre «mover» y «no mover». Eso explica el fracaso de 8-bit Adam con el texto a nivel de byte, donde abundan los símbolos poco frecuentes.

Dónde puede servir el método y dónde aún es pronto

La conclusión práctica es prudente. Si entrena o reentrena modelos HDC compactos en dispositivos con un presupuesto de memoria muy ajustado, por ejemplo sistemas embebidos o escenarios de entrenamiento in situ, el coste del optimizador puede eliminarse casi por completo. Para esas tareas, cinco puntos de precisión pueden ser un precio aceptable, y con datos raros o desequilibrados el método resulta además más estable que 8-bit Adam.

Hay dos limitaciones, y los propios autores las señalan. La primera: la precisión queda por debajo de float32 Adam, así que donde cada punto cuenta, el método no sirve de sustituto. La segunda: el ahorro se calcula como estado lógico, no como memoria de hardware medida. La ganancia real en un hardware concreto depende del empaquetado de los datos y de la implementación, y aún está por medir. Por último, la validación se hizo con clasificadores HDC, y el trabajo no plantea trasladar la idea a redes neuronales convencionales.

Conviene, de todos modos, quedarse con la observación en sí: en el entrenamiento discreto, el historial de gradientes suele servir solo para decidir «mover o no mover», y para eso basta el gradiente actual con un umbral.