Нейросетям улучшили память: NVIDIA представила DeltaNet-2
NVIDIA представила Gated DeltaNet-2 — новый механизм линейного внимания для больших языковых моделей. Основное отличие: вместо одного скалярного затвора, новая архитектура использует отдельные каналы для управления стиранием старых данных и записью новых. Модель обучена на 100B токенов с 1.3B параметров и обгоняет конкурентов в языковом моделировании и работе с длинным контекстом.
AI-обработка оригинала MarkTechPost; редакция Hamidun News
NVIDIA представила улучшение для нейросетей: новую архитектуру DeltaNet-2, которая существенно улучшает управление памятью в больших языковых моделях.
Что такое линейное внимание в нейросетях?
Линейное внимание — механизм, который сжимает неограниченный KV-кеш в фиксированное рекуррентное состояние. Это позволяет эффективнее работать с длинными текстами и значительно снижает потребление памяти.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.