Нейросети работают в 2 раза быстрее: FlashAttention-3 от NVIDIA
Together AI представила FlashAttention-3 — новый алгоритм для ускорения трансформеров в больших языковых моделях. Работает вдвое быстрее, чем FlashAttention-2. GPU H100 загружается теперь на 75% вместо прежних 35%. Алгоритм поддерживает низкую точность вычислений FP8, при этом сохраняя точность результатов. Это позволяет LLM эффективнее обрабатывать длинные текстовые последовательности без замедления вычислений и снижает затраты.
AI-обработка оригинала Together AI Blog; редакция Hamidun News
Нейросети теперь работают в 1.5–2 раза быстрее: Together AI, NVIDIA и Meta выпустили FlashAttention-3 — алгоритм для ускорения внимания в трансформерах, который использует 75% мощности GPU вместо прежних 35%.
Почему ускорение нейросетей экономит деньги?
Облачные вычисления дорожают, а LLM требуют всё больше ресурсов. Каждый процент эффективности теперь считается в деньгах.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.