Una ley SIMPLE de cuatro parámetros predijo la energía de inferencia de 13 LLM en H100 sin calibración

La factura de la IA se emite por tokens, pero los tokens no cuestan lo mismo. Cada token nuevo entra en el KV-cache y encarece todos los posteriores, de modo que la energía crece de forma no lineal a lo largo de la secuencia, aunque los tokens parezcan idénticos. Un grupo de investigadores de la Universidad de Bolonia (facultades DEI y DISI) ha propuesto la ley SIMPLE: una fórmula compacta de cuatro parámetros que expresa la energía de inferencia a partir de los hiperparámetros de la propia arquitectura.

Los autores la validaron con trazas de 13 LLM densos de seis familias (OPT, LLaMA, Gemma, Falcon, Qwen2 y Granite) ejecutados en GPU NVIDIA H100. Medido por el error MAPE, es decir, el error relativo medio de la predicción, SIMPLE resultó más preciso que el SOTA anterior, y lo logró sin calibración por modelo, por lo que es aplicable también a modelos que nadie ha medido.

Por qué los modelos existentes no sirven para planificar

La inferencia, y no el entrenamiento, consume la mayor parte de la energía de un modelo: los autores citan una estimación de hasta el 90% de la energía de su ciclo de vida. Un modelo se entrena una vez y después se sirve de forma continua. Sin embargo, para conocer el precio por token de una LLM que aún no se ha desplegado solo hay una vía: construirla, ejecutarla y medir. Para entonces ya no se puede elegir la arquitectura.

Además, el objetivo se mueve. Los modelos de razonamiento gastan tokens adicionales a cambio de precisión, y los escenarios agénticos han elevado la longitud mediana del prompt de 750–1050 a 68 mil tokens. La diferencia de precio también es notable: un modelo con menor tarifa por token puede salir más caro en total que otro nominalmente más costoso.

Los modelos analíticos anteriores se dividen en dos bandos. Unos ajustan empíricamente la energía a la longitud de entrada y de salida: fórmulas lineales y fórmulas con un término de interacción entre entrada y salida. Describen el régimen medido, pero no lo explican. El modelo más preciso conocido deriva el decode en forma cerrada a partir del cómputo y de los accesos a memoria, pero sus coeficientes están ajustados a una sola LLM. El número de capas, la dimensión oculta y la estructura de la atención no figuran de forma explícita en la fórmula. Por eso hay que recalibrarla para cada modelo, y no distingue entre MHA y GQA.

Qué contiene la ley

Los autores derivaron expresiones cerradas para la complejidad computacional y el número de accesos a memoria durante la inferencia, por separado para Multi-Head Attention (MHA) y Grouped-Query Attention (GQA). Sobre esa base compararon una familia de modelos analíticos con distinto nivel de detalle. SIMPLE ofreció el mejor equilibrio entre precisión y compacidad: cuatro parámetros separan el prefill y el decode, y este último se divide a su vez en el coste del KV-cache y el cómputo del siguiente token (el paso directo por la FFN).

La validación se hizo con trazas de 13 LLM densos de seis familias en NVIDIA H100. El error MAPE de la ley es menor que el del SOTA anterior, y se logra sin calibración por modelo. El texto disponible del trabajo no indica cifras concretas de reducción del error.

Qué explica la ley

De la fórmula se desprenden varias conclusiones prácticas:

• La energía del prefill crece de forma cuadrática con la dimensión oculta, mientras que la profundidad de la red aporta una contribución lineal. Por eso los modelos grandes sufren más con las entradas largas.
• Cuanto más agresivamente agrupa GQA las claves y los valores, menor es la energía por token en comparación con el MHA estándar. Para un arquitecto, es una de las palancas de ahorro más eficaces.
• La ley permite hallar de forma analítica la longitud de salida a la que la energía por token es mínima. Al aumentar el presupuesto de tokens de razonamiento, la longitud se desplaza más allá de ese mínimo y la energía crece de forma superlineal. La precisión también aumenta con el presupuesto, pero la energía lo hace más rápido, de modo que la métrica Intelligence per Joule (precisión dividida por la energía de la consulta) alcanza su pico con un presupuesto intermedio y cae en los extremos del rango.
• Las consultas agénticas son claramente más caras que las habituales: en ellas crecen tanto el término del prefill como el del KV-cache. El prefix caching elimina la mayor parte del coste del prefill, pero el término del KV-cache permanece. Por eso incluso una consulta agéntica cacheada sale más cara que una no agéntica.

Limitaciones

El trabajo abarca modelos densos y dos tipos de atención, MHA y GQA. Los autores solo consideran MLA como una variante de GQA. Las mediciones se hicieron en un único tipo de GPU, la H100, en modo de una sola tarjeta, sin tener en cuenta el tamaño del batch ni la inferencia distribuida.

Las arquitecturas MoE no entraron en la validación. Para los profesionales, la conclusión es la siguiente: la ley sirve para estimar la energía y el coste antes de lanzar un modelo y para comparar arquitecturas. Ayuda a elegir el presupuesto de razonamiento y a entender a partir de qué longitud de contexto un escenario agéntico deja de ser rentable.

Los autores también han publicado una implementación interactiva de la ley.