MiniMind com código aberto treina um modelo de linguagem de 64 milhões de parâmetros em 2 horas por 3 yuans
Quer entender como um modelo de linguagem funciona por dentro, em vez de apenas ajustar outro já pronto com bibliotecas prontas? O projeto aberto MiniMind disponibiliza todo o código em PyTorch puro para um modelo de 64 milhões de parâmetros (pesos), algo centenas de vezes menor que os assistentes habituais. A etapa de SFT, em que o modelo aprende a conduzir um diálogo, leva cerca de 2 horas numa única placa de vídeo RTX 3090 e custa cerca de 3 yuans de aluguel. Por isso, testar ideias como DPO, LoRA e RL fica barato aqui, e não num modelo grande.
Processado por IA de GitHub Trending AI; editado por Hamidun News
A maioria dos desenvolvedores conhece o treinamento de LLMs assim: pegam um modelo pronto, conectam uma biblioteca, escrevem uma dezena de linhas e tudo se ajusta "sozinho". É prático, mas por dentro continua sendo uma caixa-preta. O projeto MiniMind, que em um dia chegou a 188 estrelas no GitHub Trending, propõe o caminho oposto: montar e treinar um pequeno modelo de linguagem inteiramente com as próprias mãos.
Os números do título significam o seguinte. "64 milhões de parâmetros" é a quantidade de pesos ajustáveis do modelo; os assistentes habituais têm dezenas e centenas de bilhões, de modo que o MiniMind é centenas de vezes menor. "2 horas" é o tempo realmente medido da etapa de SFT (treinamento de diálogo com exemplos de "pergunta — resposta") em uma única placa de vídeo NVIDIA RTX 3090.
"3 yuans" é o custo do aluguel da GPU por essas duas horas.
O autor, Jingyao Gong, compara as envoltórias habituais de treinamento a um voo de primeira classe, e a sua própria abordagem a montar um avião com um kit de construção. Ele também critica os cursos on-line em que os LLMs são explicados de forma superficial e com erros. Por isso, todos os algoritmos-chave do repositório são escritos em PyTorch "puro", sem interfaces de alto nível de bibliotecas de terceiros.
O que há dentro e como interpretar as "duas horas"
O projeto abrange todo o percurso: limpeza e deduplicação dos dados, pré-treinamento (o modelo lê o corpus e aprende a prever o próximo token), SFT, LoRA, DPO, aprendizado por reforço e destilação. LoRA é um ajuste leve em que se treina um pequeno acréscimo aos pesos, enquanto o modelo principal permanece intacto; aqui ele foi escrito sem a biblioteca peft. O DPO ensina o modelo com pares "boa resposta — resposta ruim".
PPO, GRPO e CISPO são algoritmos de aprendizado por reforço em que a resposta é avaliada por outro modelo ou por uma regra verificável. Há ainda Tool Use e Agentic RL (chamada de ferramentas e treinamento sobre o resultado de um cenário de várias etapas) e um alternador "pensar ou responder de imediato".
Uma ressalva importante: as duas horas e os três yuans referem-se apenas à etapa de SFT. O pré-treinamento é um passo separado, mas, para quem tem uma única placa, os autores prepararam conjuntos simplificados: pretrain_t2t_mini, de 1,2 GB, e sft_t2t_mini, de 1,6 GB. As versões completas ocupam 10 GB ou mais. A bancada de testes dos autores são oito RTX 3090 de 24 GB, mas o projeto suporta tanto uma placa quanto várias (DDP, DeepSpeed), além de retomada após falhas e gráficos no wandb e no swanlab.
Para execução e verificação há tudo o que é necessário: avaliação em C-Eval, C-MMLU e OpenBookQA, extensão do contexto via YaRN, um servidor mínimo compatível com a API da OpenAI e uma interface de chat em Streamlit. Os pesos prontos rodam com llama.cpp, vLLM e Ollama, e é possível conectar Open-WebUI e FastGPT.
O que isso ensina e onde está o limite
O README traz também observações de engenharia úteis além do projeto. O tokenizador aqui é intencionalmente pequeno: num modelo minúsculo, um vocabulário grande consumiria uma parcela notável dos parâmetros, por isso os autores não recomendam retreiná-lo. Para modelos pequenos, segundo uma observação do trabalho MobileLLM, a arquitetura "profunda e estreita" costuma ser mais vantajosa do que a "larga e rasa", embora a estreiteza tenha um limite inferior. Já a variante MoE (em que as requisições são distribuídas entre "especialistas"), quando implementada nativamente em PyTorch, aprende visivelmente mais devagar do que um modelo comum: só é possível acelerá-la com bibliotecas otimizadas específicas.
Os autores descrevem as limitações por conta própria. Um modelo de 64 milhões de parâmetros conhece pouco os fatos, e versões iniciais podiam gerar absurdos em vez de respostas. As ferramentas nos dados de treinamento são apenas algumas simulações, como consulta de horário, matemática e previsão do tempo, de modo que ainda não há capacidade real de trabalhar com APIs arbitrárias. Se ativarmos ao mesmo tempo o modo de raciocínio e a chamada de ferramentas, o modelo normalmente não mostra o processo de raciocínio, pois os dados não contêm exemplos combinados.
A conclusão prática: o MiniMind não substitui um modelo de produção, mas é uma bancada de testes barata. Nela é fácil comparar DPO e GRPO, entender como o seu conjunto de dados se comporta no SFT e ensinar a equipe a ler o código de treinamento sem a mágica das bibliotecas. A licença Apache 2.0 permite usar o código livremente, e quando é preciso descobrir onde o pipeline quebra, o mais barato é testar isso num modelo que pode ser retreinado em uma noite.
- 21 de nov. de 2026OpenAI GPT-6 Cyber encontrou cerca de 35 falhas no iPhone, no Mac e em outros dispositivos da Apple
- 21 de nov. de 202622 agentes Claude passaram seis semanas atrás de respostas sobre buracos negros e resolveram dois problemas
- 21 de nov. de 2026Google vai separar o armazenamento de chats do treinamento do Gemini: dá para recusar sem perder o histórico
- 21 de nov. de 2026Apple dá a usuários do macOS 27.3 beta 2 como limitar o acesso de agentes de IA aos arquivos do Mac
Perguntas frequentes sobre a notícia
O que há dentro e como interpretar as "duas horas"?
O projeto abrange todo o percurso: limpeza e deduplicação dos dados, pré-treinamento (o modelo lê o corpus e aprende a prever o próximo token), SFT, LoRA, DPO, aprendizado por reforço e destilação. LoRA é um ajuste leve em que se treina um pequeno acréscimo aos pesos, enquanto o modelo principal permanece intacto; aqui ele foi escrito sem a biblioteca peft. O DPO ensina o modelo com pares "boa resposta — resposta ruim".
O que isso ensina e onde está o limite?
O README traz também observações de engenharia úteis além do projeto. O tokenizador aqui é intencionalmente pequeno: num modelo minúsculo, um vocabulário grande consumiria uma parcela notável dos parâmetros, por isso os autores não recomendam retreiná-lo. Para modelos pequenos, segundo uma observação do trabalho MobileLLM, a arquitetura "profunda e estreita" costuma ser mais vantajosa do que a "larga e rasa", embora a estreiteza tenha um limite inferior.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.