Como a nova rede neural da NVIDIA economiza memória: Gated DeltaNet-2
A NVIDIA apresentou o Gated DeltaNet-2, um novo mecanismo de atenção linear para grandes modelos de linguagem. A principal diferença: em vez de uma única porta escalar, a nova arquitetura usa canais separados para controlar o apagamento de dados antigos e a escrita de dados novos. O modelo foi treinado com 100B tokens e 1.3B parâmetros e supera concorrentes em modelagem de linguagem e no trabalho com contexto longo.
Processado por IA de MarkTechPost; editado por Hamidun News
A NVIDIA criou uma nova rede neural, o Gated DeltaNet-2, com um mecanismo de atenção linear que economiza memória ao controlar separadamente o apagamento de dados antigos e a escrita de dados novos, em vez da única porta escalar das gerações anteriores.
O que é atenção linear em redes neurais?
A atenção linear é um mecanismo que comprime um cache KV ilimitado em um estado recorrente de tamanho fixo. Isso permite trabalhar com textos longos de forma mais eficiente e reduz significativamente o consumo de memória.
Por que redes neurais precisam de otimização de memória?
Os mecanismos de atenção linear comprimem um cache KV ilimitado em um estado recorrente de tamanho fixo, o que permite trabalhar com textos longos de forma mais eficiente e reduz o consumo de memória.
Em que o
Gated DeltaNet-2 difere das redes neurais anteriores? A principal diferença é o controle separado do apagamento de dados antigos e da escrita de dados novos, em vez da única porta escalar usada nas gerações anteriores.
Perguntas frequentes sobre a notícia
O que é atenção linear em redes neurais?
A atenção linear é um mecanismo que comprime um cache KV ilimitado em um estado recorrente de tamanho fixo. Isso permite trabalhar com textos longos de forma mais eficiente e reduz significativamente o consumo de memória.
Por que redes neurais precisam de otimização de memória?
Os mecanismos de atenção linear comprimem um cache KV ilimitado em um estado recorrente de tamanho fixo, o que permite trabalhar com textos longos de forma mais eficiente e reduz o consumo de memória.
Em que o Gated DeltaNet-2 difere das redes neurais anteriores?
A principal diferença é o controle separado do apagamento de dados antigos e da escrita de dados novos, em vez da única porta escalar usada nas gerações anteriores.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.