Закон SIMPLE из четырёх параметров предсказал энергию инференса 13 LLM на H100 без калибровки

Счёт за ИИ выставляют за токены, но токены стоят по-разному. Каждый новый токен попадает в KV-кэш и удорожает все последующие, поэтому энергия по ходу последовательности растёт нелинейно, хотя сами токены выглядят одинаково. Группа исследователей из Болонского университета (факультеты DEI и DISI) предложила закон SIMPLE: компактную формулу из четырёх параметров, которая выражает энергию инференса через гиперпараметры самой архитектуры. Её проверили на трассах 13 плотных LLM шести семейств (OPT, LLaMA, Gemma, Falcon, Qwen2 и Granite), запущенных на GPU NVIDIA H100. По ошибке MAPE, то есть средней относительной ошибке прогноза, SIMPLE оказался точнее прежнего SOTA, причём без калибровки под каждую модель, а значит, применим и к тем моделям, которые никто не замерял.

Почему существующие модели не годятся для планирования

Инференс, а не обучение, съедает основную часть энергии модели: авторы ссылаются на оценку до 90% энергии жизненного цикла. Модель обучают один раз, а потом обслуживают постоянно. При этом узнать цену токена для ещё не развёрнутой LLM можно только одним способом: построить её, запустить и измерить. К этому моменту архитектуру уже не выбрать.

Цель к тому же движется. Рассуждающие модели тратят дополнительные токены ради точности, а агентные сценарии подняли медианную длину промпта с 750–1050 до 68 тысяч токенов. Разница в цене тоже заметна: модель с меньшей прайс-ценой за токен может обойтись дороже в сумме, чем номинально более дорогая.

Прежние аналитические модели делятся на два лагеря. Одни эмпирически подгоняют энергию под длину входа и выхода: линейные формулы и формулы с членом взаимодействия входа и выхода. Они описывают измеренный режим, но не объясняют его. Самая точная из известных моделей выводит decode в замкнутой форме из вычислений и обращений к памяти, но её коэффициенты подобраны под одну LLM. Число слоёв, скрытая размерность и устройство внимания в формулу явно не входят. Поэтому её нужно заново калибровать под каждую модель, и она не знает про различия между MHA и GQA.

Что внутри закона

Авторы вывели замкнутые выражения для вычислительной сложности и числа обращений к памяти при инференсе, отдельно для Multi-Head Attention (MHA) и Grouped-Query Attention (GQA). На их основе они сравнили семейство аналитических моделей разной детализации. Лучший баланс точности и компактности показал SIMPLE: четыре параметра разделяют prefill и decode, а decode дополнительно делят на стоимость KV-кэша и вычисление следующего токена (прямой проход через FFN).

Проверка шла на трассах 13 плотных LLM шести семейств на NVIDIA H100. Ошибка MAPE у закона ниже, чем у прежнего SOTA, и это достигнуто без калибровки под каждую модель. Конкретные проценты снижения ошибки в доступном тексте работы не приведены.

Что закон объясняет

Из формулы следуют практические выводы:

• Энергия prefill растёт квадратично со скрытой размерностью, а глубина сети вносит линейный вклад. Поэтому крупные модели сильнее всего страдают от длинных входов.
• Чем агрессивнее GQA группирует ключи и значения, тем меньше энергия на токен по сравнению со стандартным MHA. Для архитектора это один из самых действенных рычагов экономии.
• Закон позволяет аналитически найти длину выхода, при которой энергия на токен минимальна. Рост бюджета токенов на рассуждение выталкивает длину за этот минимум, и энергия растёт сверхлинейно. Точность с бюджетом тоже растёт, но энергия растёт быстрее, поэтому метрика Intelligence per Joule (точность, делённая на энергию запроса) достигает пика на промежуточном бюджете и падает на краях диапазона.
• Агентные запросы заметно дороже обычных: у них растут и слагаемое prefill, и слагаемое KV-кэша. Prefix caching снимает большую часть стоимости prefill, но слагаемое KV-кэша остаётся. Поэтому даже закэшированный агентный запрос обходится дороже неагентного.

Ограничения

Работа охватывает плотные модели и два вида внимания, MHA и GQA. MLA авторы лишь рассматривают как вариант GQA. Измерения сделаны на одном типе GPU, H100, в режиме одиночной карты, без учёта размера батча и распределённого инференса. MoE-архитектуры в проверку не вошли. Для практиков вывод такой: закон пригоден для прикидки энергии и стоимости до запуска модели и для сравнения архитектур. Он помогает выбрать бюджет рассуждения и понять, с какой длины контекста агентный сценарий перестаёт быть выгодным. Авторы также выложили интерактивную реализацию закона.