Esquema Karpathy: 15 agentes de IA prueban ajustes de entrenamiento de LLM durante 5 minutos y revierten los fracasos
El ajuste del entrenamiento de un LLM suele hacerse a mano: se cambia un parámetro, se espera y se comparan los resultados. En un esquema inspirado en autoresearch de Karpathy, esa tarea se encarga a 15 agentes de IA: cada uno prueba un único cambio durante hasta 5 minutos y comprueba si baja el val_bpb (bits por byte de texto; cuanto menor, mejor). Los cambios que no mejoran se revierten, y en la ejecución descrita el límite de tiempo detuvo 7 experimentos. La conclusión: un cambio por experimento, un presupuesto estricto y la reversión son una plantilla válida para los pipelines de agentes.
Procesado por IA desde X: @RealMarvelX; editado por Hamidun News
El entrenamiento de un modelo de lenguaje se ajusta más o menos como una receta: se cambia un poco la tasa de aprendizaje, se modifica la normalización, se reajusta la mezcla de datos y se espera el resultado. El investigador lo hace a mano, un cambio cada vez, y el tanteo tarda días. El autor de una publicación en X describió un esquema inspirado en el proyecto autoresearch de Andrej Karpathy que convierte este proceso en un pipeline de 15 agentes de IA.
Cada agente comprueba un único cambio durante no más de 5 minutos y observa la métrica val_bpb: el número de bits que el modelo necesita para codificar un byte del texto de validación. Cuanto menor es, mejor predice el modelo el texto. Si el número baja, el cambio se conserva; si no, se revierte.
Una salvedad importante: esto es un resumen de un solo autor, no documentación oficial. La publicación no incluye enlace al repositorio ni cifras finales de mejora, así que conviene contrastar los detalles con la fuente original.
Cómo funciona el pipeline
Cada agente tiene un rol acotado. El agente Hypothesis propone el siguiente experimento. Los especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention y Kernel Fuser se encargan cada uno de una parte del entrenamiento: la inicialización de pesos, la tasa de aprendizaje, la normalización, el optimizador, la composición de los datos, el mecanismo de atención y la aceleración de los cálculos. Trainer lanza el entrenamiento. Batch Sizer y Ablator revisan la configuración y determinan qué cambio concreto produjo cada efecto. Evaluator calcula el resultado, Judge decide si el cambio se conserva, Reverter revierte el fallido y Log Keeper registra cada intento.
El trabajo avanza en cinco etapas:
- Splitter divide la idea en cambios, uno por experimento. De lo contrario, no se sabría qué mejoró el modelo.
- En paralelo arrancan 15 ejecuciones. Según la publicación, corren sobre Opus 5.5 y cada Trainer recibe un presupuesto de 5 minutos. La publicación no confirma este detalle, así que no conviene tomarlo como la composición exacta del stack.
- La verificación comprueba si val_bpb bajó en el tiempo asignado.
- Judge y Reverter conservan los cambios que funcionan y eliminan el resto.
- Log Keeper registra todos los intentos en el archivo program.md.
Memoria y disciplina
La parte más práctica del esquema es el archivo program.md. En él se anotan todos los intentos, incluidos los fallidos. El siguiente agente de hipótesis lee el registro y no propone lo que ya no funcionó. Es una defensa frente al problema principal de los experimentos automáticos: el sistema da vueltas y repite los mismos fracasos.
En la ejecución descrita, 7 experimentos fueron detenidos por el límite de tiempo, y los cambios rechazados no pasaron a la siguiente versión. La publicación no indica cuántos cambios superaron la verificación ni cuánto bajó val_bpb. Por eso no es posible evaluar si el esquema supera al ajuste manual.
Qué conviene llevarse
Aunque no se reproduzca todo el esquema, hay tres reglas que sirven en cualquier pipeline de agentes:
- Un cambio, un experimento. Si se modifican cinco cosas a la vez, el resultado no se puede explicar.
- Presupuesto de tiempo estricto. El límite de 5 minutos impide que una ejecución bloqueada acapare recursos del resto y hace que los experimentos sean comparables.
- Reversión automática y registro. Un juez con capacidad de deshacer cambios y una memoria común de fracasos cuestan menos que investigar lo que los agentes rompieron durante la noche.
También hay limitaciones. Cinco minutos de entrenamiento muestran si un cambio ayuda en las primeras etapas, pero no garantizan que no perjudique a largo plazo. Un cambio que gana con un presupuesto pequeño a veces pierde con el entrenamiento completo. Las 15 ejecuciones paralelas también cuestan dinero en cómputo. Además, muchos agentes especializados implican muchos prompts distintos y muchos puntos de fallo. Quizá algunos roles puedan fusionarse sin perder calidad, pero con esta publicación no se puede afirmar.
Para fundadores y responsables de producto, la idea es sencilla. La rutina de investigación —búsqueda de hiperparámetros, pruebas de ablación, registro de experimentos— encaja bien en un pipeline multiagente cuando existe una métrica numérica clara y una verificación rápida. Cuando la métrica es ambigua, un agente juez empezará a equivocarse. Cuando es inequívoca, como val_bpb, la automatización de la investigación se convierte en una tarea de ingeniería bastante abordable.
- 29 oct 2026Un enjambre de agentes de IA desarrolla el juego Spawn: los tokens cuestan $3 millones al mes
- 12 oct 2026Karpathy, de Anthropic: 5000 personas ven una IA que el resto no ve
- 25 feb 2026Andrej Karpathy condensa GPT en 243 líneas de Python puro
- 2 feb 2026Moltbook: cómo convertirte en Andrej Karpathy en cinco minutos (y por qué es triste)
Preguntas frecuentes sobre la noticia
Cómo funciona el pipeline?
Cada agente tiene un rol acotado. El agente Hypothesis propone el siguiente experimento. Los especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention y Kernel Fuser se encargan cada uno de una parte del entrenamiento: la inicialización de pesos, la tasa de aprendizaje, la normalización, el optimizador, la composición de los datos, el mecanismo de atención y la aceleración de los cálculos. Trainer lanza el entrenamiento.
¿Qué se sabe sobre Memoria y disciplina?
La parte más práctica del esquema es el archivo program.md. En él se anotan todos los intentos, incluidos los fallidos. El siguiente agente de hipótesis lee el registro y no propone lo que ya no funcionó. Es una defensa frente al problema principal de los experimentos automáticos: el sistema da vueltas y repite los mismos fracasos. En la ejecución descrita, 7 experimentos fueron detenidos por el límite de tiempo, y los cambios rechazados no pasaron a la siguiente versión.
¿Qué se sabe sobre Qué conviene llevarse?
Aunque no se reproduzca todo el esquema, hay tres reglas que sirven en cualquier pipeline de agentes: Un cambio, un experimento. Si se modifican cinco cosas a la vez, el resultado no se puede explicar. Presupuesto de tiempo estricto. El límite de 5 minutos impide que una ejecución bloqueada acapare recursos del resto y hace que los experimentos sean comparables. Reversión automática y registro.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.