La Universidad de Twente reduce un 14 % el consumo energético del entrenamiento de LLM

Investigadores de la Universidad de Twente, en los Países Bajos, han desarrollado un método que permite ahorrar hasta un 14 % de la energía al entrenar grandes modelos de lenguaje sin reducir la velocidad de entrenamiento. La técnica se basa en el control dinámico de la frecuencia de reloj de la GPU y se aplica por primera vez con un nivel de detalle tan fino.

Cómo funciona el DVFS

El DVFS (dynamic voltage-frequency scaling) es una técnica conocida que modifica la frecuencia de reloj de la GPU según la carga de cómputo del momento. Cada operación del chip se activa con un pulso de reloj, y la frecuencia de esos pulsos determina tanto la velocidad de la GPU como su consumo de energía.

Las GPU modernas tienen dos sistemas de reloj independientes: uno para el núcleo de cómputo y otro para el bloque de memoria. Cuando el núcleo calcula de forma intensiva, su reloj funciona a alta frecuencia y el de la memoria puede ralentizarse. Cuando el núcleo espera datos de la memoria, ocurre lo contrario: el núcleo puede frenar y la memoria acelerar. Este equilibrio reduce el consumo total de energía sin perder rendimiento.

Por qué fallaron los métodos anteriores

El DVFS existe desde la década de 1990, pero aplicarlo al entrenamiento de LLM resultó más difícil de lo que parecía. Los intentos previos ralentizaban demasiado el cómputo o no eran lo bastante flexibles. El problema principal: la mayoría de los métodos ajustaban la frecuencia solo a nivel de iteraciones completas de entrenamiento (forward pass y backpropagation), algo demasiado burdo para optimizar con eficacia.

Innovación a nivel de kernel

El equipo de Jeffrey Spaan decidió cambiar la frecuencia a un nivel mucho más fino: el de los kernels individuales (bloques elementales de cómputo). El cálculo en GPU se divide en operaciones minúsculas; por ejemplo, una multiplicación de vectores es un kernel. Entrenar una sola capa de una red neuronal lanza aproximadamente 40 kernels de este tipo. Al ajustar la frecuencia para cada kernel por separado, el equipo logró un ahorro de energía mucho mayor:

• Ajuste a nivel de bloques de cómputo individuales en lugar de iteraciones completas
• Predecir el siguiente kernel permite fijar de antemano la frecuencia adecuada
• Ahorro medio de energía del 14 % con una ralentización de solo el 0,6 %
• El DVFS automático de la GPU rinde peor porque no puede anticipar los pasos siguientes

Resultados y limitaciones

El experimento se realizó con el modelo GPT-3-XL (1.3 mil millones de parámetros) en una GPU Nvidia RTX 3080 Ti. Resultado: un 14 % de ahorro de energía con una ralentización de solo el 0,6 %.

«Optimizamos el ahorro de energía sin perder rendimiento.

En el mundo real, el rendimiento es el santo grial», afirma Jeffrey Spaan.

Hay una limitación: cambiar de frecuencia requiere tiempo, aunque menos que apagar y encender por completo el núcleo. Los cálculos de los investigadores no lo tuvieron en cuenta, así que el 14 % es el mejor escenario posible. Las GPU más nuevas, como Nvidia Blackwell, cambian de frecuencia mucho más rápido y podrán aprovechar mejor este ahorro.

Qué significa

Si el método de Spaan se adopta en la industria, se podrían ahorrar miles de millones de vatios-hora de energía al entrenar modelos de frontera. Eso reduciría la huella de carbono de la industria de la IA y sus costes operativos, sin exigir inversión en hardware nuevo.