MiniMind, código abierto: entrena un modelo de lenguaje de 64 millones de parámetros en 2 horas por 3 yuanes
¿Quieres entender cómo funciona un modelo de lenguaje por dentro, en lugar de ajustar uno ajeno con bibliotecas listas para usar? El proyecto de código abierto MiniMind publica todo el código en PyTorch puro para un modelo de 64 millones de parámetros (pesos), cientos de veces más pequeño que los asistentes habituales. La fase SFT, en la que el modelo aprende a mantener un diálogo, tarda unas 2 horas en una sola tarjeta gráfica RTX 3090 y cuesta alrededor de 3 yuanes de alquiler. Por eso, probar ideas con DPO, LoRA y RL resulta barato aquí y no en un modelo grande.
Procesado por IA desde GitHub Trending AI; editado por Hamidun News
La mayoría de los desarrolladores conocen el entrenamiento de LLM así: se toma un modelo ya hecho, se conecta una biblioteca, se escriben una decena de líneas y todo se ajusta «solo». Es cómodo, pero por dentro queda una caja negra. El proyecto MiniMind, que en un día alcanzó 188 estrellas en GitHub Trending, propone lo contrario: construir y entrenar un modelo de lenguaje pequeño con las propias manos.
Las cifras del titular significan lo siguiente. «64 millones de parámetros» es el número de pesos ajustables del modelo; los asistentes habituales tienen decenas o cientos de miles de millones, así que MiniMind es cientos de veces más pequeño. «2 horas» es el tiempo medido realmente para la fase SFT (aprender a dialogar con ejemplos de «pregunta — respuesta») en una sola tarjeta gráfica NVIDIA RTX 3090.
«3 yuanes» es el coste del alquiler de la GPU durante esas dos horas.
El autor, Jingyao Gong, compara los envoltorios habituales para entrenar modelos con volar en primera clase, y su propio enfoque con montar un avión a partir de un juego de construcción. También critica los cursos en internet, en los que los LLM se explican de forma superficial y con errores. Por eso, todos los algoritmos clave del repositorio están escritos en PyTorch puro, sin interfaces de alto nivel de bibliotecas de terceros.
Qué contiene y cómo leer las «dos horas»
El proyecto recorre todo el camino: limpieza y deduplicación de datos, preentrenamiento (el modelo lee un corpus y aprende a predecir el siguiente token), SFT, LoRA, DPO, aprendizaje por refuerzo y destilación. LoRA es un ajuste ligero en el que se entrena un pequeño complemento de los pesos mientras el modelo principal permanece intacto; aquí está implementado sin la biblioteca peft. DPO entrena el modelo con pares «buena respuesta — mala respuesta».
PPO, GRPO y CISPO son algoritmos de aprendizaje por refuerzo en los que la respuesta es evaluada por otro modelo o por una regla verificable. Además, hay Tool Use y Agentic RL (llamada a herramientas y entrenamiento sobre el resultado de un escenario de varios pasos) y un interruptor para «pensar o responder directamente».
Una aclaración importante: las dos horas y los tres yuanes corresponden solo a la fase SFT. El preentrenamiento es un paso aparte, pero, para quienes tienen una sola tarjeta, los autores han preparado conjuntos reducidos: pretrain_t2t_mini de 1,2 GB y sft_t2t_mini de 1,6 GB. Las versiones completas pesan 10 GB o más. El banco de pruebas de los autores son ocho RTX 3090 de 24 GB, pero el proyecto admite tanto una como varias tarjetas (DDP, DeepSpeed), la reanudación tras un fallo y los gráficos en wandb y swanlab.
Para ejecutar y comprobar el modelo hay todo lo necesario: evaluación en C-Eval, C-MMLU y OpenBookQA, ampliación del contexto mediante YaRN, un servidor mínimo compatible con la API de OpenAI y una interfaz de chat en Streamlit. Los pesos ya entrenados se pueden ejecutar con llama.cpp, vLLM y Ollama, y conectarse a Open-WebUI y FastGPT.
Qué enseña y dónde está el límite
El README incluye observaciones de ingeniería útiles más allá del proyecto. El tokenizador es deliberadamente pequeño: en un modelo diminuto, un vocabulario grande consumiría una parte notable de los parámetros, por lo que los autores no recomiendan reentrenarlo. Para modelos pequeños, según una observación del trabajo MobileLLM, una arquitectura «profunda y estrecha» suele ser más rentable que una «ancha y poco profunda», aunque la estrechez tiene un límite inferior. Y la variante MoE (en la que las peticiones se reparten entre «expertos»), implementada de forma nativa en PyTorch, aprende bastante más despacio que un modelo convencional: solo puede acelerarse con bibliotecas optimizadas específicas.
Los autores describen las limitaciones ellos mismos. Un modelo de 64 millones de parámetros conoce poco los hechos, y las primeras versiones podían producir disparates en lugar de respuestas. Las herramientas de los datos de entrenamiento son solo unas cuantas imitaciones, como consultar la hora, hacer cálculos matemáticos o el tiempo, así que todavía no existe una capacidad real para trabajar con API arbitrarias. Si se activan a la vez el razonamiento y la llamada a herramientas, el modelo normalmente no muestra su proceso de razonamiento, porque los datos no contienen ejemplos conjuntos.
Conclusión práctica: MiniMind no sustituirá a un modelo de producción, pero es un banco de pruebas barato. Sirve para comparar DPO y GRPO, entender cómo se comporta el propio conjunto de datos en SFT y enseñar al equipo a leer el código de entrenamiento sin magia de bibliotecas. La licencia Apache 2.0 permite usar el código libremente, y cuando hay que averiguar dónde se rompe un pipeline, lo más barato es comprobarlo en un modelo que se puede reentrenar en una tarde.
- 21 nov 2026California demanda a OpenAI: sus agentes de IA se salieron de control al menos 80 veces
- 21 nov 2026GPT-6 Cyber encontró unos 35 fallos en iPhone, Mac y otros dispositivos de Apple
- 21 nov 202622 agentes de Claude pasaron seis semanas buscando respuestas sobre agujeros negros, y resolvieron dos problemas
- 21 nov 2026Google separará el almacenamiento de chats del entrenamiento de Gemini: rechazar sin perder el historial
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué contiene y cómo leer las «dos horas»?
El proyecto recorre todo el camino: limpieza y deduplicación de datos, preentrenamiento (el modelo lee un corpus y aprende a predecir el siguiente token), SFT, LoRA, DPO, aprendizaje por refuerzo y destilación. LoRA es un ajuste ligero en el que se entrena un pequeño complemento de los pesos mientras el modelo principal permanece intacto; aquí está implementado sin la biblioteca peft. DPO entrena el modelo con pares «buena respuesta — mala respuesta».
¿Qué se sabe sobre Qué enseña y dónde está el límite?
El README incluye observaciones de ingeniería útiles más allá del proyecto. El tokenizador es deliberadamente pequeño: en un modelo diminuto, un vocabulario grande consumiría una parte notable de los parámetros, por lo que los autores no recomiendan reentrenarlo. Para modelos pequeños, según una observación del trabajo MobileLLM, una arquitectura «profunda y estrecha» suele ser más rentable que una «ancha y poco profunda», aunque la estrechez tiene un límite inferior.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.