DeepSeek-V4-Pro é reduzido 50 vezes e roda em uma única T4 gratuita do Kaggle

Um experimento com o DeepSeek-V4-Pro mostra que até um modelo de 1,6 trilhão de parâmetros pode ser levado a um estado funcional sem um cluster de H100, desde que se abra mão de executá-lo na forma original. Em vez de uma inferência completa, o autor do projeto montou uma aproximação extremamente agressiva: comprimiu os pesos por decomposição de baixo posto, fez shards gigantescos passarem por processamento em fluxo e adaptou manualmente a arquitetura às ferramentas existentes. O resultado está longe de servir para produção, mas rodar numa NVIDIA T4 gratuita do Kaggle é uma demonstração forte de quanto a matemática e a engenhosidade de engenharia resolvem hoje.

Na descrição original, o DeepSeek-V4-Pro é apresentado como um modelo MoE de 1,6 trilhão de parâmetros, com pesos de mais de 800 GB. Sistemas dessa classe costumam exigir uma infraestrutura bem diferente: várias H100, muita memória de vídeo, conexões rápidas entre nós e um volume decente de disco local. Nesse contexto, escolher uma instância gratuita do Kaggle com T4 de 16 GB de VRAM e cerca de 50 GB de disco não é uma tentativa de repetir uma implantação padrão, mas um experimento no limite do possível. A formulação do problema também importa: o objetivo não era preservar o modelo intacto, e sim testar quanta estrutura útil sobrevive a uma compressão radical.

O movimento central do projeto é abandonar a quantização comum de 4 bits em favor de uma "transmutação" SVD, isto é, a decomposição de baixo posto das matrizes de pesos. Segundo o autor, o posto 64 rendeu cerca de 50 vezes de compressão. Esse esquema mantém as principais dependências entre parâmetros, mas descarta muitos detalhes e, com eles, parte da qualidade. Para um modelo gigante, é uma troca dura: a precisão cai, mas surge a chance de encaixar o sistema em hardware acessível. Na prática, já não é o modelo original no sentido completo, e sim seu esqueleto matemático, que ainda consegue reter parte do contexto e das associações.

O segundo elemento importante é o tratamento dos pesos num modo de MLOps quase emergencial. Em vez de guardar todo o conjunto de parâmetros localmente, o autor processou os shards em sequência via `safe_open`: baixava um arquivo, extraía o tensor necessário, comprimia na memória RAM, enviava o resultado a um repositório e limpava todo o cache antes da etapa seguinte. Assim, foi possível fazer passar pelo limite de disco um conjunto de pesos que, normalmente, não caberia numa máquina gratuita.

O autor destaca que o uso de RAM nunca passou de 4 GB. É um detalhe importante, porque nessas tarefas o gargalo não é só a VRAM, mas também a logística de arquivos, quando o modelo nem sequer pode ser descompactado sem truques intermediários.

A terceira camada é um roubo de identidade arquitetônico. Segundo o autor, a biblioteca transformers ainda não oferecia suporte ao DeepSeek-V4, então foi preciso disfarçar a configuração como DeepSeek-V2 e corrigir separadamente o roteamento MoE por monkey patching. Do ponto de vista da engenharia, é um truque frágil: depende da versão das bibliotecas, do formato das configurações e do desenho do roteador de especialistas. Mas esse passo mostra que parte das limitações em torno dos grandes modelos vem não só do hardware, mas da compatibilidade das ferramentas. Se o stack ainda não conhece uma nova arquitetura, pesquisadores muitas vezes precisam primeiro adaptar o framework ao modelo e só depois cuidar da qualidade da saída.

O resultado é uma versão do modelo que, segundo o autor, cabe na memória de uma única T4 e consegue manter contexto, mas perde qualidade de forma perceptível. Entre os efeitos colaterais, são citados alucinações e a mistura de russo, inglês e chinês numa mesma resposta. Isso faz do sistema um mau candidato a cenários aplicados confiáveis, nos quais precisão, estabilidade e previsibilidade importam. Como prova de conceito, porém, o projeto funciona: mostra que mesmo modelos open-weight ultragrandes podem ser discutidos não só em termos de data centers, mas também desmontados em configurações mais acessíveis, ainda que muito reduzidas.

A principal conclusão não é que a T4 tenha virado de repente substituta de um cluster moderno de GPUs. Pelo contrário: o experimento deixa claro o preço desses compromissos e o limite a partir do qual rodar um modelo deixa de significar inferência completa e passa a ser reconstrução de pesquisa. Ainda assim, projetos como este empurram para a frente a prática de compressão, a inferência aproximada e o MLOps acessível. Quanto mais soluções de contorno surgem, menor a barreira de entrada para quem quer experimentar com grandes modelos sem orçamento corporativo.