Cómo la nueva red neuronal de NVIDIA ahorra memoria: Gated DeltaNet-2
NVIDIA ha presentado Gated DeltaNet-2, un nuevo mecanismo de atención lineal para grandes modelos de lenguaje. La diferencia principal: en lugar de una única puerta escalar, la nueva arquitectura usa canales separados para controlar el borrado de datos antiguos y la escritura de datos nuevos. El modelo se entrenó con 100B tokens y 1.3B parámetros, y supera a sus competidores en modelado del lenguaje y en el trabajo con contexto largo.
Procesado por IA desde MarkTechPost; editado por Hamidun News
NVIDIA ha creado una nueva red neuronal, Gated DeltaNet-2, con un mecanismo de atención lineal que ahorra memoria al gestionar por separado el borrado de datos antiguos y la escritura de datos nuevos, en lugar de la única puerta escalar de las generaciones anteriores.
¿Qué es la atención lineal en las redes neuronales?
La atención lineal es un mecanismo que comprime una caché KV ilimitada en un estado recurrente de tamaño fijo. Así se trabaja con mayor eficiencia con textos largos y se reduce de forma notable el consumo de memoria.
¿Por qué las redes neuronales necesitan optimizar la memoria?
Los mecanismos de atención lineal comprimen una caché KV ilimitada en un estado recurrente de tamaño fijo, lo que permite trabajar con textos largos de forma más eficiente y reduce el consumo de memoria.
¿En qué se diferencia
Gated DeltaNet-2 de las redes neuronales anteriores? La diferencia principal es la gestión por separado del borrado de datos antiguos y la escritura de datos nuevos, en lugar de la única puerta escalar usada en las generaciones anteriores.
Preguntas frecuentes sobre la noticia
¿Qué es la atención lineal en las redes neuronales?
La atención lineal es un mecanismo que comprime una caché KV ilimitada en un estado recurrente de tamaño fijo. Así se trabaja con mayor eficiencia con textos largos y se reduce de forma notable el consumo de memoria.
¿Por qué las redes neuronales necesitan optimizar la memoria?
Los mecanismos de atención lineal comprimen una caché KV ilimitada en un estado recurrente de tamaño fijo, lo que permite trabajar con textos largos de forma más eficiente y reduce el consumo de memoria.
¿En qué se diferencia Gated DeltaNet-2 de las redes neuronales anteriores?
La diferencia principal es la gestión por separado del borrado de datos antiguos y la escritura de datos nuevos, en lugar de la única puerta escalar usada en las generaciones anteriores.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.