Un desarrollador implementa DeepSeek V3 en 190 líneas de JAX y lo entrena en un MacBook Air en 2,6 horas
El informe técnico de DeepSeek V3 es difícil de leer, y el código real del modelo ocupa miles de líneas. Un desarrollador logró condensar la arquitectura en 190 líneas de JAX (la biblioteca de Google para redes neuronales) y entrenó en 2,6 horas una versión mini de 36,2 millones de parámetros en un MacBook Air M5. Se trata de un banco de pruebas educativo: el modelo leyó 207 novelas de detectives y escribe con fluidez, pero sin sentido. Para entender cómo funciona DeepSeek, es más práctico leer este código.
Procesado por IA desde Hacker News AI; editado por Hamidun News
El informe técnico de DeepSeek V3 es difícil de leer: contiene fórmulas, y el código real del modelo ocupa miles de líneas con muchas dependencias que diluyen la idea central. El desarrollador Vaibhaav Tiwari mostró en Hacker News cómo sortear ese problema. Condensó toda la arquitectura de DeepSeek V3 en 190 líneas de JAX (la biblioteca de Google para cálculo numérico y entrenamiento de redes neuronales) y entrenó una copia reducida directamente en un MacBook Air M5 en 2,6 horas. El resultado es un modelo de 36,2 millones de parámetros, frente a los 671 000 millones del original. No es un modelo potente, pero este código se puede leer como un manual.
Qué hay dentro de esas 190 líneas
El proyecto está escrito sin Flax, Equinox ni PyTorch. Los parámetros son diccionarios simples con arrays, y cada parte del modelo es una función que se lee de arriba abajo. El autor reprodujo las técnicas principales de DeepSeek V3 en versión reducida.
La primera es la Multi-head Latent Attention (MLA). La atención convencional guarda en caché las claves y los valores completos de cada token, lo que consume mucha memoria con textos largos. MLA guarda un único vector comprimido pequeño por token y por capa, y reconstruye lo necesario a partir de él. La clave rotatoria (rotary) independiente es común a todas las cabezas y queda fuera del vector comprimido.
La segunda es la mezcla de expertos (MoE). Imagine un centro de llamadas: un operador generalista atiende a todos, y además hay 16 especialistas, de los que se llama a los cuatro mejores para cada consulta. Aquí ocurre algo parecido: un experto compartido funciona siempre, más 16 expertos enrutados, de los que se seleccionan cuatro para cada token. Por eso, por token están activos 13,6 millones de los 36,2 millones de parámetros.
La tercera es el balanceo sin función de pérdida auxiliar. Para que todos los especialistas del centro de llamadas tengan carga, cada experto tiene un sesgo (bias) que empuja al enrutador hacia los que están inactivos. Este sesgo afecta solo a la selección de expertos, no a sus pesos. Además, se incluye una pequeña función de balanceo a nivel de secuencia con coeficiente 1e-4, tal como describe el artículo.
La cuarta es la predicción de múltiples tokens (MTP). Un módulo adicional predice no solo el token siguiente, sino también el posterior, con un peso de 0,3 en el error total de entrenamiento. Los cálculos se hacen en bf16 sobre pesos maestros en f32.
Cómo se entrenó y qué resultó
El corpus son 207 novelas policíacas de dominio público en Estados Unidos: obras de Dashiell Hammett (repetida tres veces en los datos) y unas 200 obras del Proyecto Gutenberg. En total, 21,7 millones de tokens, con un tokenizador BPE de 8192 tokens. La validación se realiza con textos policíacos reservados.
El entrenamiento principal consistió en 12 000 pasos, unos 98 millones de tokens (alrededor de 4,5 épocas), y duró 2,6 horas en un MacBook Air M5 con 24 GB de memoria.
Lo más revelador fue el experimento con el balanceo. Hacia el paso 2000, con el sesgo activado, cada experto recibía entre el 5,7% y el 6,9% de los tokens, frente al ideal del 6,25%. Sin él, las proporciones se dispersaban entre el 0,09% y el 18,6%: unos expertos estaban sobrecargados y otros apenas trabajaban. Aun así, el error en los textos de validación es prácticamente el mismo: 3,921 con balanceo y 3,923 sin él. Por tanto, el sesgo equilibra la carga sin coste en calidad, tal como afirma el artículo de DeepSeek.
Según el autor, el modelo en sí es débil. Ante el inicio «The fog came in off the» completa: «bay, and the great trees were spreading and the stars were shining». La gramática es correcta, pero el sentido es difuso.
Limitaciones y para quién es útil
El autor enumeró con franqueza lo que no incluye. Cada experto procesa todos los tokens y los resultados de los no seleccionados simplemente se anulan: la matemática del enrutamiento es exacta, pero no hay un reparto disperso de tokens ni paralelismo de expertos. En MLA no existe la absorción de pesos (weight absorption): las claves y los valores se desempaquetan explícitamente, lo que resulta más fácil de leer, pero más lento en inferencia. Tampoco se implementan el entrenamiento en FP8, DualPipe, la restricción del enrutamiento por nodos, la extensión de contexto YaRN ni ningún postentrenamiento. La escala también es incomparable: 6 capas frente a 61, y un contexto de 256 tokens frente a 128 000.
No obstante, el proyecto es fácil de reproducir. Incluye 39 pruebas: enmascaramiento de tokens futuros, coincidencia de la caché con una pasada completa, enrutamiento, objetivos de MTP, pesos maestros en bf16 y otras. El código se ejecuta en Apple Silicon mediante jax-metal; en CPU funciona más despacio, y para ese caso existe una configuración reducida. En una AMD RX 7600 XT de 16 GB, una ejecución completa tarda unos 50 minutos a unos 35 000 tokens por segundo, con un error de validación de 3,527 frente a 3,507 en el Mac.
Una advertencia de seguridad: el checkpoint se guarda como pickle de Python, y al cargar ese tipo de archivo se puede ejecutar código arbitrario. Cárguelo solo desde fuentes de confianza o, mejor aún, entrene el modelo usted mismo.
La conclusión práctica es sencilla. Si quiere entender MLA, MoE y MTP, no hace falta asaltar el código de un framework industrial: basta una tarde con este repositorio y un portátil. Como chuleta de la arquitectura de DeepSeek es más útil que muchas explicaciones, y como banco de pruebas para experimentar con el enrutamiento de expertos resulta más cómodo que los frameworks voluminosos.
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Durante tres días, a través de OpenRouter respondió un DeepSeek manipulado: las negativas cayeron del 83–98 % a un 1 %
- 21 nov 2026Alisa, ChatGPT y Perplexity citan solo 34 de 309 plataformas para artículos
- 21 nov 2026CoreWeave mide Vera Rubin: hasta 10 veces más tokens por megavatio que la GB200
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué hay dentro de esas 190 líneas?
El proyecto está escrito sin Flax, Equinox ni PyTorch. Los parámetros son diccionarios simples con arrays, y cada parte del modelo es una función que se lee de arriba abajo. El autor reprodujo las técnicas principales de DeepSeek V3 en versión reducida. La primera es la Multi-head Latent Attention (MLA). La atención convencional guarda en caché las claves y los valores completos de cada token, lo que consume mucha memoria con textos largos.
Cómo se entrenó y qué resultó?
El corpus son 207 novelas policíacas de dominio público en Estados Unidos: obras de Dashiell Hammett (repetida tres veces en los datos) y unas 200 obras del Proyecto Gutenberg. En total, 21,7 millones de tokens, con un tokenizador BPE de 8192 tokens. La validación se realiza con textos policíacos reservados. El entrenamiento principal consistió en 12 000 pasos, unos 98 millones de tokens (alrededor de 4,5 épocas), y duró 2,6 horas en un MacBook Air M5 con 24 GB de memoria.
¿Qué se sabe sobre Limitaciones y para quién es útil?
El autor enumeró con franqueza lo que no incluye. Cada experto procesa todos los tokens y los resultados de los no seleccionados simplemente se anulan: la matemática del enrutamiento es exacta, pero no hay un reparto disperso de tokens ni paralelismo de expertos. En MLA no existe la absorción de pesos (weight absorption): las claves y los valores se desempaquetan explícitamente, lo que resulta más fácil de leer, pero más lento en inferencia.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.