Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @RealMarvelX→ original

Esquema Karpathy: 15 agentes de IA prueban ajustes de entrenamiento de LLM durante 5 minutos y revierten los fracasos

El ajuste del entrenamiento de un LLM suele hacerse a mano: se cambia un parámetro, se espera y se comparan los resultados. En un esquema inspirado en autoresearch de Karpathy, esa tarea se encarga a 15 agentes de IA: cada uno prueba un único cambio durante hasta 5 minutos y comprueba si baja el val_bpb (bits por byte de texto; cuanto menor, mejor). Los cambios que no mejoran se revierten, y en la ejecución descrita el límite de tiempo detuvo 7 experimentos. La conclusión: un cambio por experimento, un presupuesto estricto y la reversión son una plantilla válida para los pipelines de agentes.

Procesado por IA desde X: @RealMarvelX; editado por Hamidun News
Esquema Karpathy: 15 agentes de IA prueban ajustes de entrenamiento de LLM durante 5 minutos y revierten los fracasos
Fuente: X: @RealMarvelX. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @RealMarvelX ↗
Editor jefe
Dato clave #1Hypothesis propone la idea, Judge decide qué se conserva
Dato clave #2Log Keeper registra todos los intentos en program.md para las siguientes hipótesis
Agentes especialistasLR Tuner, Data Mixer, Optimizer, Kernel Fuser

El entrenamiento de un modelo de lenguaje se ajusta más o menos como una receta: se cambia un poco la tasa de aprendizaje, se modifica la normalización, se reajusta la mezcla de datos y se espera el resultado. El investigador lo hace a mano, un cambio cada vez, y el tanteo tarda días. El autor de una publicación en X describió un esquema inspirado en el proyecto autoresearch de Andrej Karpathy que convierte este proceso en un pipeline de 15 agentes de IA.

Cada agente comprueba un único cambio durante no más de 5 minutos y observa la métrica val_bpb: el número de bits que el modelo necesita para codificar un byte del texto de validación. Cuanto menor es, mejor predice el modelo el texto. Si el número baja, el cambio se conserva; si no, se revierte.

Una salvedad importante: esto es un resumen de un solo autor, no documentación oficial. La publicación no incluye enlace al repositorio ni cifras finales de mejora, así que conviene contrastar los detalles con la fuente original.

Cómo funciona el pipeline

Cada agente tiene un rol acotado. El agente Hypothesis propone el siguiente experimento. Los especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention y Kernel Fuser se encargan cada uno de una parte del entrenamiento: la inicialización de pesos, la tasa de aprendizaje, la normalización, el optimizador, la composición de los datos, el mecanismo de atención y la aceleración de los cálculos. Trainer lanza el entrenamiento. Batch Sizer y Ablator revisan la configuración y determinan qué cambio concreto produjo cada efecto. Evaluator calcula el resultado, Judge decide si el cambio se conserva, Reverter revierte el fallido y Log Keeper registra cada intento.

El trabajo avanza en cinco etapas:

  • Splitter divide la idea en cambios, uno por experimento. De lo contrario, no se sabría qué mejoró el modelo.
  • En paralelo arrancan 15 ejecuciones. Según la publicación, corren sobre Opus 5.5 y cada Trainer recibe un presupuesto de 5 minutos. La publicación no confirma este detalle, así que no conviene tomarlo como la composición exacta del stack.
  • La verificación comprueba si val_bpb bajó en el tiempo asignado.
  • Judge y Reverter conservan los cambios que funcionan y eliminan el resto.
  • Log Keeper registra todos los intentos en el archivo program.md.

Memoria y disciplina

La parte más práctica del esquema es el archivo program.md. En él se anotan todos los intentos, incluidos los fallidos. El siguiente agente de hipótesis lee el registro y no propone lo que ya no funcionó. Es una defensa frente al problema principal de los experimentos automáticos: el sistema da vueltas y repite los mismos fracasos.

En la ejecución descrita, 7 experimentos fueron detenidos por el límite de tiempo, y los cambios rechazados no pasaron a la siguiente versión. La publicación no indica cuántos cambios superaron la verificación ni cuánto bajó val_bpb. Por eso no es posible evaluar si el esquema supera al ajuste manual.

Qué conviene llevarse

Aunque no se reproduzca todo el esquema, hay tres reglas que sirven en cualquier pipeline de agentes:

  • Un cambio, un experimento. Si se modifican cinco cosas a la vez, el resultado no se puede explicar.
  • Presupuesto de tiempo estricto. El límite de 5 minutos impide que una ejecución bloqueada acapare recursos del resto y hace que los experimentos sean comparables.
  • Reversión automática y registro. Un juez con capacidad de deshacer cambios y una memoria común de fracasos cuestan menos que investigar lo que los agentes rompieron durante la noche.

También hay limitaciones. Cinco minutos de entrenamiento muestran si un cambio ayuda en las primeras etapas, pero no garantizan que no perjudique a largo plazo. Un cambio que gana con un presupuesto pequeño a veces pierde con el entrenamiento completo. Las 15 ejecuciones paralelas también cuestan dinero en cómputo. Además, muchos agentes especializados implican muchos prompts distintos y muchos puntos de fallo. Quizá algunos roles puedan fusionarse sin perder calidad, pero con esta publicación no se puede afirmar.

Para fundadores y responsables de producto, la idea es sencilla. La rutina de investigación —búsqueda de hiperparámetros, pruebas de ablación, registro de experimentos— encaja bien en un pipeline multiagente cuando existe una métrica numérica clara y una verificación rápida. Cuando la métrica es ambigua, un agente juez empezará a equivocarse. Cuando es inequívoca, como val_bpb, la automatización de la investigación se convierte en una tarea de ingeniería bastante abordable.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona el pipeline?

Cada agente tiene un rol acotado. El agente Hypothesis propone el siguiente experimento. Los especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention y Kernel Fuser se encargan cada uno de una parte del entrenamiento: la inicialización de pesos, la tasa de aprendizaje, la normalización, el optimizador, la composición de los datos, el mecanismo de atención y la aceleración de los cálculos. Trainer lanza el entrenamiento.

¿Qué se sabe sobre Memoria y disciplina?

La parte más práctica del esquema es el archivo program.md. En él se anotan todos los intentos, incluidos los fallidos. El siguiente agente de hipótesis lee el registro y no propone lo que ya no funcionó. Es una defensa frente al problema principal de los experimentos automáticos: el sistema da vueltas y repite los mismos fracasos. En la ejecución descrita, 7 experimentos fueron detenidos por el límite de tiempo, y los cambios rechazados no pasaron a la siguiente versión.

¿Qué se sabe sobre Qué conviene llevarse?

Aunque no se reproduzca todo el esquema, hay tres reglas que sirven en cualquier pipeline de agentes: Un cambio, un experimento. Si se modifican cinco cosas a la vez, el resultado no se puede explicar. Presupuesto de tiempo estricto. El límite de 5 minutos impide que una ejecución bloqueada acapare recursos del resto y hace que los experimentos sean comparables. Reversión automática y registro.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…