Comment le nouveau réseau de neurones de NVIDIA économise la mémoire : Gated DeltaNet-2
NVIDIA a présenté Gated DeltaNet-2, un nouveau mécanisme d'attention linéaire pour les grands modèles de langage. Principale différence : au lieu d'une seule porte scalaire, la nouvelle architecture utilise des canaux distincts pour contrôler l'effacement des anciennes données et l'écriture des nouvelles. Le modèle a été entraîné sur 100B tokens avec 1.3B paramètres et surpasse ses concurrents en modélisation du langage et sur les tâches à contexte long.
Traité par IA depuis MarkTechPost ; édité par Hamidun News
NVIDIA a conçu un nouveau réseau de neurones, Gated DeltaNet-2, doté d'un mécanisme d'attention linéaire qui économise la mémoire en gérant séparément l'effacement des anciennes données et l'écriture des nouvelles, au lieu de la porte scalaire unique des générations précédentes.
Qu'est-ce que l'attention linéaire dans les réseaux de neurones ?
L'attention linéaire est un mécanisme qui compresse un cache KV illimité en un état récurrent de taille fixe. Il permet de traiter plus efficacement les textes longs et réduit sensiblement la consommation de mémoire.
Pourquoi les réseaux de neurones ont-ils besoin d'une optimisation de
la mémoire ? Les mécanismes d'attention linéaire compressent un cache KV illimité en un état récurrent de taille fixe, ce qui permet de traiter plus efficacement les textes longs et réduit la consommation de mémoire.
En quoi
Gated DeltaNet-2 diffère-t-il des anciens réseaux de neurones ? La principale différence tient à la gestion séparée de l'effacement des anciennes données et de l'écriture des nouvelles, au lieu de la porte scalaire unique utilisée dans les générations précédentes.
Questions clés sur cet article
Qu'est-ce que l'attention linéaire dans les réseaux de neurones ?
L'attention linéaire est un mécanisme qui compresse un cache KV illimité en un état récurrent de taille fixe. Il permet de traiter plus efficacement les textes longs et réduit sensiblement la consommation de mémoire.
Pourquoi les réseaux de neurones ont-ils besoin d'une optimisation de la mémoire ?
Les mécanismes d'attention linéaire compressent un cache KV illimité en un état récurrent de taille fixe, ce qui permet de traiter plus efficacement les textes longs et réduit la consommation de mémoire.
En quoi Gated DeltaNet-2 diffère-t-il des anciens réseaux de neurones ?
La principale différence tient à la gestion séparée de l'effacement des anciennes données et de l'écriture des nouvelles, au lieu de la porte scalaire unique utilisée dans les générations précédentes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.