Lei SIMPLE, com quatro parâmetros, previu a energia de inferência de 13 LLMs na H100 sem calibração

A conta da IA é cobrada por token, mas nem todo token custa o mesmo. Cada novo token entra no KV-cache e encarece todos os seguintes, por isso a energia cresce de forma não linear ao longo da sequência, embora os tokens pareçam idênticos. Um grupo de pesquisadores da Universidade de Bolonha (departamentos DEI e DISI) propôs a lei SIMPLE: uma fórmula compacta, de quatro parâmetros, que expressa a energia de inferência a partir dos hiperparâmetros da própria arquitetura.

A lei foi validada em traces de 13 LLMs densas de seis famílias (OPT, LLaMA, Gemma, Falcon, Qwen2 e Granite), executadas em GPUs NVIDIA H100. Pelo erro MAPE, ou seja, o erro relativo médio da previsão, o SIMPLE foi mais preciso que o SOTA anterior, e sem calibração para cada modelo, o que significa que ele também se aplica a modelos que ninguém mediu.

Por que os modelos existentes não servem para planejamento

É a inferência, e não o treinamento, que consome a maior parte da energia de um modelo: os autores citam uma estimativa de até 90% da energia do ciclo de vida. O modelo é treinado uma vez e depois atende requisições o tempo todo. Ao mesmo tempo, só existe uma forma de descobrir o preço do token de uma LLM que ainda não foi implantada: construí-la, executá-la e medir. Nesse ponto, já não é mais possível escolher a arquitetura.

O alvo também se move. Modelos de raciocínio gastam tokens extras em troca de precisão, e os cenários agênticos elevaram a mediana do tamanho do prompt de 750–1050 para 68 mil tokens. A diferença de preço também pesa: um modelo com menor preço por token pode sair mais caro no total do que outro nominalmente mais caro.

Os modelos analíticos anteriores se dividem em dois campos. Um deles ajusta empiricamente a energia ao comprimento da entrada e da saída, com fórmulas lineares e fórmulas com um termo de interação entre entrada e saída. Esses modelos descrevem o regime medido, mas não o explicam. O modelo mais preciso que se conhece deriva o decode em forma fechada a partir de operações de cálculo e acessos à memória, mas seus coeficientes foram ajustados para uma única LLM. O número de camadas, a dimensão oculta e a estrutura da atenção não entram explicitamente na fórmula. Por isso, ele precisa ser recalibrado para cada modelo e não considera as diferenças entre MHA e GQA.

O que há dentro da lei

Os autores derivaram expressões fechadas para a complexidade computacional e para o número de acessos à memória na inferência, separadamente para Multi-Head Attention (MHA) e Grouped-Query Attention (GQA). Com base nelas, compararam uma família de modelos analíticos com diferentes níveis de detalhe. O SIMPLE apresentou o melhor equilíbrio entre precisão e compactação: quatro parâmetros separam prefill e decode, e o decode é dividido ainda entre o custo do KV-cache e o cálculo do próximo token (a passagem direta pela FFN).

A validação usou traces de 13 LLMs densas de seis famílias em NVIDIA H100. O erro MAPE da lei é menor que o do SOTA anterior, e isso foi obtido sem calibração para cada modelo. Os percentuais concretos de redução do erro não constam no texto disponível do trabalho.

O que a lei explica

A fórmula leva a conclusões práticas:

• A energia do prefill cresce quadraticamente com a dimensão oculta, e a profundidade da rede contribui de forma linear. Por isso, os modelos maiores sofrem mais com entradas longas.
• Quanto mais agressivamente o GQA agrupa chaves e valores, menor é a energia por token em comparação com o MHA padrão. Para o arquiteto, esse é um dos recursos mais eficazes de economia.
• A lei permite encontrar analiticamente o comprimento de saída em que a energia por token é mínima. Ao aumentar o orçamento de tokens de raciocínio, o comprimento passa desse mínimo e a energia cresce de forma superlinear. A precisão também sobe com o orçamento, mas a energia sobe mais rápido. Por isso, a métrica Intelligence per Joule (precisão dividida pela energia da requisição) atinge o pico em um orçamento intermediário e cai nas extremidades da faixa.
• Requisições agênticas são visivelmente mais caras que as comuns: crescem tanto o termo do prefill quanto o do KV-cache. O prefix caching elimina a maior parte do custo do prefill, mas o termo do KV-cache permanece. Por isso, mesmo uma requisição agêntica em cache custa mais que uma não agêntica.

Limitações

O trabalho abrange modelos densos e dois tipos de atenção, MHA e GQA. Os autores apenas tratam o MLA como uma variante do GQA. As medições foram feitas em um único tipo de GPU, a H100, no modo de placa única, sem considerar o tamanho do batch nem a inferência distribuída. Arquiteturas MoE não entraram na validação. Para quem trabalha na prática, a conclusão é esta: a lei serve para estimar energia e custo antes de executar o modelo e para comparar arquiteturas. Ela ajuda a escolher o orçamento de raciocínio e a entender a partir de que tamanho de contexto um cenário agêntico deixa de compensar. Os autores também publicaram uma implementação interativa da lei.