Железо

FLOPS

FLOPS (Floating-Point Operations Per Second) — единица измерения производительности процессоров, показывающая, сколько операций с плавающей запятой устройство выполняет в секунду. Используется как стандартный ориентир мощности ИИ-ускорителей, суперкомпьютеров и чипов.

FLOPS — метрика вычислительной производительности, измеряющая количество арифметических операций с числами с плавающей запятой, выполняемых процессором или ускорителем за одну секунду. Более высокое значение означает способность обрабатывать больше данных за единицу времени. Применяются кратные единицы: терафлопс (TFLOPS, 10¹²), петафлопс (PFLOPS, 10¹⁵), экзафлопс (EFLOPS, 10¹⁸).

Производительность в FLOPS определяется аппаратной архитектурой: числом вычислительных ядер, тактовой частотой и разрядностью операций. В ИИ-задачах нередко применяют пониженную точность — FP16 или BF16, — что позволяет удвоить или учетверить эффективное число FLOPS по сравнению с FP32 при допустимой потере точности. Nvidia H100 достигает около 2000 TFLOPS в режиме FP16 (Tensor Core), а H200, выпущенный в 2024 году, превысил 3000 TFLOPS в аналогичном режиме.

FLOPS служат общим языком для сравнения аппаратных платформ и оценки стоимости обучения моделей. Исследователи фиксируют «вычислительный бюджет» в FLOP (без «S» — как абсолютную величину) и используют его для сравнения моделей независимо от конкретного железа: по различным оценкам, обучение GPT-4 потребовало порядка 10²⁵ FLOP.

К 2026 году ведущие дата-центры оперируют кластерами с совокупной пиковой мощностью в сотни экзафлопс. Microsoft, Google и Amazon развёртывают специализированные ИИ-кластеры для обучения и инференса моделей с сотнями миллиардов параметров. Регуляторы США ввели ограничения на экспорт чипов, производительность которых превышает определённые пороги в FLOPS, — это превратило метрику из сугубо технической в политически значимую.

Пример

При выборе GPU для обучения языковой модели инженер сравнивает H100 (около 2000 TFLOPS FP16) и AMD MI300X, чтобы рассчитать, сколько часов займёт один цикл обучения при заданном вычислительном бюджете и стоимости аренды кластера.

Связанные термины

← Глоссарий