La loi SIMPLE, à quatre paramètres, prédit l'énergie d'inférence de 13 LLM sur H100 sans calibration

L'IA est facturée au token, mais tous les tokens ne coûtent pas le même prix. Chaque nouveau token entre dans le KV-cache et renchérit tous les suivants : l'énergie croît donc de façon non linéaire au fil de la séquence, alors que les tokens, eux, semblent identiques. Un groupe de chercheurs de l'université de Bologne (départements DEI et DISI) propose la loi SIMPLE, une formule compacte à quatre paramètres qui exprime l'énergie d'inférence à partir des hyperparamètres de l'architecture elle-même.

Ils l'ont validée sur les traces de 13 LLM denses de six familles (OPT, LLaMA, Gemma, Falcon, Qwen2 et Granite), exécutés sur GPU NVIDIA H100. Sur la MAPE, c'est-à-dire l'erreur relative moyenne de la prédiction, SIMPLE se montre plus précis que l'ancien SOTA, et ce sans calibration propre à chaque modèle. Il est donc applicable aussi aux modèles que personne n'a mesurés.

Pourquoi les modèles existants ne conviennent pas à la planification

C'est l'inférence, et non l'entraînement, qui absorbe l'essentiel de l'énergie d'un modèle : les auteurs citent une estimation allant jusqu'à 90 % de l'énergie du cycle de vie. Un modèle est entraîné une fois, puis servi en continu. Or, pour connaître le prix d'un token pour un LLM pas encore déployé, il n'existe qu'une méthode : le construire, le lancer et mesurer. À ce stade, il est trop tard pour choisir l'architecture.

La cible, de surcroît, bouge. Les modèles de raisonnement dépensent des tokens supplémentaires pour gagner en précision, et les scénarios agentiques ont fait passer la longueur médiane des prompts de 750–1050 à 68 mille tokens. L'écart de prix est lui aussi sensible : un modèle dont le prix affiché par token est plus bas peut revenir plus cher au total qu'un modèle nominalement plus onéreux.

Les modèles analytiques antérieurs se répartissent en deux camps. Les uns ajustent empiriquement l'énergie en fonction de la longueur d'entrée et de sortie : formules linéaires et formules avec un terme d'interaction entre entrée et sortie. Elles décrivent le régime mesuré, mais ne l'expliquent pas. Le modèle le plus précis connu dérive le decode sous forme fermée à partir des calculs et des accès mémoire, mais ses coefficients sont ajustés sur un seul LLM. Le nombre de couches, la dimension cachée et la conception de l'attention n'apparaissent pas explicitement dans la formule. Il faut donc le recalibrer pour chaque modèle, et il ne tient pas compte des différences entre MHA et GQA.

Ce que contient la loi

Les auteurs ont établi des expressions fermées pour la complexité de calcul et le nombre d'accès mémoire lors de l'inférence, séparément pour la Multi-Head Attention (MHA) et la Grouped-Query Attention (GQA). Sur cette base, ils ont comparé une famille de modèles analytiques de granularité variable. SIMPLE offre le meilleur compromis entre précision et compacité : quatre paramètres séparent le prefill du decode, et le decode est lui-même scindé en coût du KV-cache et calcul du token suivant (passe avant à travers la FFN).

La validation a porté sur les traces de 13 LLM denses de six familles sur NVIDIA H100. La MAPE de la loi est inférieure à celle de l'ancien SOTA, et ce résultat est obtenu sans calibration propre à chaque modèle. Le texte accessible de l'article ne donne pas de pourcentages précis de réduction de l'erreur.

Ce que la loi explique

La formule débouche sur plusieurs conclusions pratiques :

• L'énergie du prefill croît de façon quadratique avec la dimension cachée, tandis que la profondeur du réseau apporte une contribution linéaire. Les grands modèles souffrent donc le plus des entrées longues.
• Plus le GQA regroupe agressivement les clés et les valeurs, plus l'énergie par token diminue par rapport au MHA standard. Pour un architecte, c'est l'un des leviers d'économie les plus efficaces.
• La loi permet de déterminer analytiquement la longueur de sortie qui minimise l'énergie par token. L'augmentation du budget de tokens de raisonnement pousse la longueur au-delà de ce minimum, et l'énergie croît alors de façon superlinéaire. La précision augmente elle aussi avec le budget, mais l'énergie augmente plus vite : la métrique Intelligence per Joule (précision divisée par l'énergie de la requête) atteint donc un pic pour un budget intermédiaire et chute aux extrémités de la plage.
• Les requêtes agentiques coûtent nettement plus cher que les requêtes ordinaires : le terme du prefill comme celui du KV-cache y augmentent. Le prefix caching supprime l'essentiel du coût du prefill, mais le terme du KV-cache demeure. Même mise en cache, une requête agentique revient donc plus cher qu'une requête non agentique.

Limites

L'étude couvre les modèles denses et deux types d'attention, MHA et GQA. Les auteurs ne considèrent la MLA que comme une variante du GQA. Les mesures ont été réalisées sur un seul type de GPU, le H100, en mode carte unique, sans prise en compte de la taille de batch ni de l'inférence distribuée.

Les architectures MoE n'ont pas été incluses dans la validation. Pour les praticiens, la conclusion est la suivante : la loi convient pour estimer l'énergie et le coût avant le lancement d'un modèle, et pour comparer des architectures. Elle aide à choisir un budget de raisonnement et à repérer à partir de quelle longueur de contexte un scénario agentique cesse d'être rentable.

Les auteurs ont également publié une implémentation interactive de la loi.