Desenvolvedor reescreveu o DeepSeek V3 em 190 linhas de JAX e treinou o modelo em um MacBook Air em 2,6 horas
O relatório técnico do DeepSeek V3 é difícil de acompanhar, e o código real do modelo tem milhares de linhas. Um desenvolvedor condensou a arquitetura em 190 linhas de JAX (biblioteca do Google para redes neurais) e treinou uma versão reduzida, com 36,2 milhões de parâmetros, em um MacBook Air M5 em 2,6 horas. Trata-se de uma bancada didática: o modelo leu 207 romances policiais e escreve com fluidez, mas sem sentido. Para entender como o DeepSeek funciona, é mais simples ler esse código.
Processado por IA de Hacker News AI; editado por Hamidun News
O relatório técnico do DeepSeek V3 é difícil de ler: há muitas fórmulas, e o código real do modelo ocupa milhares de linhas, com dependências demais que acabam obscurecendo a ideia central. O desenvolvedor Vaibhaav Tiwari mostrou no Hacker News como contornar isso. Ele reuniu toda a arquitetura do DeepSeek V3 em 190 linhas de JAX (biblioteca do Google para cálculos numéricos e treinamento de redes neurais) e treinou uma cópia reduzida diretamente em um MacBook Air M5, em 2,6 horas. O resultado é um modelo de 36,2 milhões de parâmetros, contra 671 bilhões do original. Não é um modelo forte, mas o código pode ser lido como um livro didático.
O que há dentro dessas 190 linhas
O projeto foi escrito sem Flax, Equinox e PyTorch. Os parâmetros são dicionários comuns com arrays, e cada parte do modelo é uma função que se lê de cima para baixo. O autor reproduziu os principais recursos do DeepSeek V3 em versão reduzida.
O primeiro é o Multi-head Latent Attention (MLA). A atenção convencional guarda no cache as chaves e os valores completos de cada token, o que consome muita memória em textos longos. O MLA guarda, por token e por camada, um único vetor comprimido pequeno e reconstrói a partir dele o que for necessário. A chave de rotação (rotary) separada é compartilhada por todas as cabeças e fica fora do vetor comprimido.
O segundo é a mistura de especialistas (MoE). Pense em um call center: um atendente generalista responde a todos, e há 16 especialistas restritos, com quatro chamados para cada pergunta. Aqui funciona do mesmo jeito: um especialista compartilhado está sempre ativo, além de 16 roteáveis, dos quais quatro são escolhidos para cada token. Por isso, por token, ficam ativos 13,6 milhões dos 36,2 milhões de parâmetros.
O terceiro é o balanceamento sem função de perda auxiliar. Para que todos os especialistas do call center fiquem ocupados, cada um tem uma correção (bias) que empurra o roteador na direção dos ociosos. Ela influencia apenas a escolha dos especialistas, e não seus pesos. Além disso, há uma pequena função de balanceamento no nível da sequência, com coeficiente 1e-4, como no artigo.
O quarto é a previsão de múltiplos tokens (MTP). Um módulo adicional tenta prever não só o próximo token, mas também o seguinte, com peso 0,3 no erro total do treinamento. Os cálculos são feitos em bf16 sobre pesos mestres em f32.
Como foi o treinamento e o que saiu
O corpus tem 207 livros de detetive em domínio público nos EUA: romances de Dashiell Hammett (repetidos três vezes nos dados) e cerca de 200 obras do Project Gutenberg. No total são 21,7 milhões de tokens, com tokenizador BPE de 8192 tokens. A validação usa textos policiais separados para teste.
A execução principal teve 12 mil passos, cerca de 98 milhões de tokens (aproximadamente 4,5 épocas), e durou 2,6 horas em um MacBook Air M5 com 24 GB de memória.
O experimento mais revelador foi o do balanceamento. Até o passo 2000, com a correção ativada, cada especialista recebia entre 5,7% e 6,9% dos tokens, contra o ideal de 6,25%. Sem ela, as fatias se espalhavam de 0,09% a 18,6%: alguns especialistas ficavam sobrecarregados e outros quase não trabalhavam. Ainda assim, o erro nos textos de validação é praticamente o mesmo: 3,921 com balanceamento e 3,923 sem. Ou seja, a correção distribui a carga sem custo de qualidade, como afirma o artigo do DeepSeek.
O próprio modelo, segundo o autor, é fraco. Ao receber o início da frase «The fog came in off the», ele completa: «bay, and the great trees were spreading and the stars were shining». A gramática está correta, mas o sentido é vago.
Limitações e para quem serve
O autor listou com honestidade o que está de fora. Cada especialista processa todos os tokens, e os resultados dos não selecionados são simplesmente zerados: a matemática do roteamento é exata, mas não há distribuição esparsa de tokens nem paralelismo de especialistas. No MLA não há absorção de pesos (weight absorption): chaves e valores são descomprimidos explicitamente, o que facilita a leitura, mas torna a inferência mais lenta. Não foram implementados treinamento em FP8, DualPipe, restrição de roteamento por nó, extensão de contexto com YaRN nem qualquer pós-treinamento. A escala também é incomparável: 6 camadas contra 61, e contexto de 256 tokens contra 128 mil.
Ainda assim, o projeto é fácil de reproduzir. Há 39 testes, que cobrem mascaramento de tokens futuros, equivalência entre o cache e a passagem completa, roteamento, alvos do MTP, pesos mestres em bf16 e outros pontos. O código roda em Apple Silicon via jax-metal; em CPU funciona, mas mais devagar, e existe uma configuração reduzida para isso. Em uma AMD RX 7600 XT com 16 GB, a execução completa leva cerca de 50 minutos, com aproximadamente 35 mil tokens por segundo, e o erro de validação fica em 3,527, contra 3,507 no Mac.
Há um alerta de segurança: o checkpoint é salvo como pickle do Python, e arquivos desse tipo podem executar código arbitrário ao serem carregados. Carregue-os apenas de fontes confiáveis e, de preferência, treine o modelo você mesmo.
A conclusão prática é simples. Para entender MLA, MoE e MTP, não é preciso encarar o código industrial: basta uma noite com esse repositório e um notebook. Como cola sobre a arquitetura do DeepSeek, ele é mais útil do que muitos resumos, e para experimentar com o roteamento de especialistas é mais prático do que frameworks volumosos.
- 21 de nov. de 2026MLCommons começou a medir APIs de IA sob carga real: 7 medições para agentes
- 21 de nov. de 2026Por meio do OpenRouter, DeepSeek adulterada respondeu por três dias: recusas caíram de 83–98% para 1%
- 21 de nov. de 2026Alice, ChatGPT e Perplexity citam apenas 34 de 309 sites para artigos
- 21 de nov. de 2026CoreWeave mediu o Vera Rubin: até 10 vezes mais tokens por megawatt que o GB200
Perguntas frequentes sobre a notícia
O que há dentro dessas 190 linhas?
O projeto foi escrito sem Flax, Equinox e PyTorch. Os parâmetros são dicionários comuns com arrays, e cada parte do modelo é uma função que se lê de cima para baixo. O autor reproduziu os principais recursos do DeepSeek V3 em versão reduzida. O primeiro é o Multi-head Latent Attention (MLA). A atenção convencional guarda no cache as chaves e os valores completos de cada token, o que consome muita memória em textos longos.
Como foi o treinamento e o que saiu?
O corpus tem 207 livros de detetive em domínio público nos EUA: romances de Dashiell Hammett (repetidos três vezes nos dados) e cerca de 200 obras do Project Gutenberg. No total são 21,7 milhões de tokens, com tokenizador BPE de 8192 tokens. A validação usa textos policiais separados para teste. A execução principal teve 12 mil passos, cerca de 98 milhões de tokens (aproximadamente 4,5 épocas), e durou 2,6 horas em um MacBook Air M5 com 24 GB de memória. O experimento mais revelador foi o do balanceamento.
O que se sabe sobre Limitações e para quem serve?
O autor listou com honestidade o que está de fora. Cada especialista processa todos os tokens, e os resultados dos não selecionados são simplesmente zerados: a matemática do roteamento é exata, mas não há distribuição esparsa de tokens nem paralelismo de especialistas. No MLA não há absorção de pesos (weight absorption): chaves e valores são descomprimidos explicitamente, o que facilita a leitura, mas torna a inferência mais lenta.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.