Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoHacker News AI→ original

Desenvolvedor reescreveu o DeepSeek V3 em 190 linhas de JAX e treinou o modelo em um MacBook Air em 2,6 horas

O relatório técnico do DeepSeek V3 é difícil de acompanhar, e o código real do modelo tem milhares de linhas. Um desenvolvedor condensou a arquitetura em 190 linhas de JAX (biblioteca do Google para redes neurais) e treinou uma versão reduzida, com 36,2 milhões de parâmetros, em um MacBook Air M5 em 2,6 horas. Trata-se de uma bancada didática: o modelo leu 207 romances policiais e escreve com fluidez, mas sem sentido. Para entender como o DeepSeek funciona, é mais simples ler esse código.

Processado por IA de Hacker News AI; editado por Hamidun News
Desenvolvedor reescreveu o DeepSeek V3 em 190 linhas de JAX e treinou o modelo em um MacBook Air em 2,6 horas
Fonte: Hacker News AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHacker News AI ↗
Editor-chefe
Dado-chave #1Sem balanceamento, os especialistas recebiam de 0,09% a 18,6% dos tokens
Dado-chave #2Com balanceamento, as fatias ficaram uniformes: 5,7–6,9%, contra o ideal de 6,25%
O erro na validação é praticamente igual3,921 com balanceamento e 3,923 sem

O relatório técnico do DeepSeek V3 é difícil de ler: há muitas fórmulas, e o código real do modelo ocupa milhares de linhas, com dependências demais que acabam obscurecendo a ideia central. O desenvolvedor Vaibhaav Tiwari mostrou no Hacker News como contornar isso. Ele reuniu toda a arquitetura do DeepSeek V3 em 190 linhas de JAX (biblioteca do Google para cálculos numéricos e treinamento de redes neurais) e treinou uma cópia reduzida diretamente em um MacBook Air M5, em 2,6 horas. O resultado é um modelo de 36,2 milhões de parâmetros, contra 671 bilhões do original. Não é um modelo forte, mas o código pode ser lido como um livro didático.

O que há dentro dessas 190 linhas

O projeto foi escrito sem Flax, Equinox e PyTorch. Os parâmetros são dicionários comuns com arrays, e cada parte do modelo é uma função que se lê de cima para baixo. O autor reproduziu os principais recursos do DeepSeek V3 em versão reduzida.

O primeiro é o Multi-head Latent Attention (MLA). A atenção convencional guarda no cache as chaves e os valores completos de cada token, o que consome muita memória em textos longos. O MLA guarda, por token e por camada, um único vetor comprimido pequeno e reconstrói a partir dele o que for necessário. A chave de rotação (rotary) separada é compartilhada por todas as cabeças e fica fora do vetor comprimido.

O segundo é a mistura de especialistas (MoE). Pense em um call center: um atendente generalista responde a todos, e há 16 especialistas restritos, com quatro chamados para cada pergunta. Aqui funciona do mesmo jeito: um especialista compartilhado está sempre ativo, além de 16 roteáveis, dos quais quatro são escolhidos para cada token. Por isso, por token, ficam ativos 13,6 milhões dos 36,2 milhões de parâmetros.

O terceiro é o balanceamento sem função de perda auxiliar. Para que todos os especialistas do call center fiquem ocupados, cada um tem uma correção (bias) que empurra o roteador na direção dos ociosos. Ela influencia apenas a escolha dos especialistas, e não seus pesos. Além disso, há uma pequena função de balanceamento no nível da sequência, com coeficiente 1e-4, como no artigo.

O quarto é a previsão de múltiplos tokens (MTP). Um módulo adicional tenta prever não só o próximo token, mas também o seguinte, com peso 0,3 no erro total do treinamento. Os cálculos são feitos em bf16 sobre pesos mestres em f32.

Como foi o treinamento e o que saiu

O corpus tem 207 livros de detetive em domínio público nos EUA: romances de Dashiell Hammett (repetidos três vezes nos dados) e cerca de 200 obras do Project Gutenberg. No total são 21,7 milhões de tokens, com tokenizador BPE de 8192 tokens. A validação usa textos policiais separados para teste.

A execução principal teve 12 mil passos, cerca de 98 milhões de tokens (aproximadamente 4,5 épocas), e durou 2,6 horas em um MacBook Air M5 com 24 GB de memória.

O experimento mais revelador foi o do balanceamento. Até o passo 2000, com a correção ativada, cada especialista recebia entre 5,7% e 6,9% dos tokens, contra o ideal de 6,25%. Sem ela, as fatias se espalhavam de 0,09% a 18,6%: alguns especialistas ficavam sobrecarregados e outros quase não trabalhavam. Ainda assim, o erro nos textos de validação é praticamente o mesmo: 3,921 com balanceamento e 3,923 sem. Ou seja, a correção distribui a carga sem custo de qualidade, como afirma o artigo do DeepSeek.

O próprio modelo, segundo o autor, é fraco. Ao receber o início da frase «The fog came in off the», ele completa: «bay, and the great trees were spreading and the stars were shining». A gramática está correta, mas o sentido é vago.

Limitações e para quem serve

O autor listou com honestidade o que está de fora. Cada especialista processa todos os tokens, e os resultados dos não selecionados são simplesmente zerados: a matemática do roteamento é exata, mas não há distribuição esparsa de tokens nem paralelismo de especialistas. No MLA não há absorção de pesos (weight absorption): chaves e valores são descomprimidos explicitamente, o que facilita a leitura, mas torna a inferência mais lenta. Não foram implementados treinamento em FP8, DualPipe, restrição de roteamento por nó, extensão de contexto com YaRN nem qualquer pós-treinamento. A escala também é incomparável: 6 camadas contra 61, e contexto de 256 tokens contra 128 mil.

Ainda assim, o projeto é fácil de reproduzir. Há 39 testes, que cobrem mascaramento de tokens futuros, equivalência entre o cache e a passagem completa, roteamento, alvos do MTP, pesos mestres em bf16 e outros pontos. O código roda em Apple Silicon via jax-metal; em CPU funciona, mas mais devagar, e existe uma configuração reduzida para isso. Em uma AMD RX 7600 XT com 16 GB, a execução completa leva cerca de 50 minutos, com aproximadamente 35 mil tokens por segundo, e o erro de validação fica em 3,527, contra 3,507 no Mac.

Há um alerta de segurança: o checkpoint é salvo como pickle do Python, e arquivos desse tipo podem executar código arbitrário ao serem carregados. Carregue-os apenas de fontes confiáveis e, de preferência, treine o modelo você mesmo.

A conclusão prática é simples. Para entender MLA, MoE e MTP, não é preciso encarar o código industrial: basta uma noite com esse repositório e um notebook. Como cola sobre a arquitetura do DeepSeek, ele é mais útil do que muitos resumos, e para experimentar com o roteamento de especialistas é mais prático do que frameworks volumosos.

História

Perguntas frequentes sobre a notícia

O que há dentro dessas 190 linhas?

O projeto foi escrito sem Flax, Equinox e PyTorch. Os parâmetros são dicionários comuns com arrays, e cada parte do modelo é uma função que se lê de cima para baixo. O autor reproduziu os principais recursos do DeepSeek V3 em versão reduzida. O primeiro é o Multi-head Latent Attention (MLA). A atenção convencional guarda no cache as chaves e os valores completos de cada token, o que consome muita memória em textos longos.

Como foi o treinamento e o que saiu?

O corpus tem 207 livros de detetive em domínio público nos EUA: romances de Dashiell Hammett (repetidos três vezes nos dados) e cerca de 200 obras do Project Gutenberg. No total são 21,7 milhões de tokens, com tokenizador BPE de 8192 tokens. A validação usa textos policiais separados para teste. A execução principal teve 12 mil passos, cerca de 98 milhões de tokens (aproximadamente 4,5 épocas), e durou 2,6 horas em um MacBook Air M5 com 24 GB de memória. O experimento mais revelador foi o do balanceamento.

O que se sabe sobre Limitações e para quem serve?

O autor listou com honestidade o que está de fora. Cada especialista processa todos os tokens, e os resultados dos não selecionados são simplesmente zerados: a matemática do roteamento é exata, mas não há distribuição esparsa de tokens nem paralelismo de especialistas. No MLA não há absorção de pesos (weight absorption): chaves e valores são descomprimidos explicitamente, o que facilita a leitura, mas torna a inferência mais lenta.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…