Нейросеть NVIDIA Star Elastic: 360× экономия на обучении
NVIDIA представила Star Elastic — метод, который обучает три модели разных размеров (30B, 23B и 12B параметров) в одном 160B-токенном цикле. Экономия вычислений: 360×. На инфирнсе elastic budget control повышает точность на 16% и снижает задержку в 1.9 раза. Все три модели помещаются на одну RTX GPU после квантизации.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
NVIDIA представила Star Elastic — метод для обучения нейросетей, который помещает три модели разных размеров (30B, 23B и 12B параметров) в один файл весов, с нуля переучив их всех за одну тренировку вместо трёх отдельных обучений.
Какую экономию даёт Star Elastic при обучении нейросетей?
Star Elastic обучает три модели NVIDIA Nemotron (30B, 23B, 12B параметров) в одном 160B-токенном цикле, что экономит вычисления в 360 раз по сравнению с отдельным обучением каждой модели.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.