Esquema de Karpathy: 15 agentes de IA testam ajustes no treinamento de LLMs por 5 minutos e revertem os fracassos
O ajuste de treinamento de LLMs costuma ser feito à mão: muda-se um parâmetro, espera-se e compara-se o resultado. No esquema inspirado no autoresearch de Karpathy, essa tarefa ficou com 15 agentes de IA: cada um testa uma única alteração por até 5 minutos e verifica se o val_bpb (bits por byte de texto, quanto menor, melhor) caiu. As alterações que não ajudam são revertidas, e, na execução descrita, o limite de tempo interrompeu 7 experimentos. A conclusão: uma alteração por experimento, orçamento rígido e reversão são um padrão útil para pipelines agentivos.
Processado por IA de X: @RealMarvelX; editado por Hamidun News
O treinamento de um modelo de linguagem costuma ser ajustado como uma receita: muda-se um pouco a taxa de aprendizado, troca-se a normalização, reconfigura-se a mistura de dados e espera-se o resultado. O pesquisador faz isso manualmente, uma alteração por vez, e a busca pode levar dias. O autor de uma postagem no X descreveu um esquema inspirado no projeto autoresearch de Andrej Karpathy que transforma esse processo em um pipeline de 15 agentes de IA.
Cada agente testa uma única alteração por no máximo 5 minutos e observa a métrica val_bpb: o número de bits que o modelo gasta por byte de um texto de validação. Quanto menor o valor, melhor o modelo prevê o texto. Se o número cai, a alteração fica; se não cai, ela é revertida.
Uma ressalva importante: trata-se do relato de um único autor, não de documentação oficial. A postagem não traz link para o repositório nem os números finais de melhoria, então os detalhes devem ser conferidos na fonte original.
Como o pipeline funciona
Cada agente tem um papel restrito. O agente Hypothesis propõe o próximo experimento. Os especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention e Kernel Fuser são responsáveis, cada um, por uma parte do treinamento: inicialização dos pesos, taxa de aprendizado, normalização, otimizador, composição dos dados, mecanismo de atenção e aceleração dos cálculos. O Trainer executa o treinamento. Batch Sizer e Ablator verificam as configurações e identificam qual alteração produziu cada efeito. O Evaluator calcula o resultado, o Judge decide se a mudança fica, o Reverter desfaz a que falhou, e o Log Keeper registra cada tentativa.
O trabalho segue cinco etapas:
- O Splitter divide a ideia em alterações, uma por experimento. Do contrário, não fica claro o que de fato melhorou o modelo.
- Em paralelo, são iniciadas 15 execuções. Segundo a postagem, elas rodam no Opus 5.5, e cada Trainer recebe um orçamento de 5 minutos. A postagem não confirma esse detalhe, então não vale tomá-lo como a composição exata da pilha tecnológica.
- A verificação analisa se o val_bpb caiu dentro do tempo reservado.
- O Judge e o Reverter mantêm as alterações bem-sucedidas e removem as demais.
- O Log Keeper registra todas as tentativas no arquivo program.md.
Memória e disciplina
A parte mais prática do esquema é o arquivo program.md. Nele entram todas as tentativas, inclusive as malsucedidas. O próximo agente de hipóteses lê o registro e não propõe o que já não funcionou. Essa é a proteção contra o principal problema dos experimentos automáticos: o sistema andar em círculos e repetir as mesmas falhas.
Na execução descrita, 7 experimentos foram interrompidos pelo limite de tempo, e as alterações rejeitadas não entraram na versão seguinte. Quantas alterações passaram na verificação no total e quanto o val_bpb caiu, a postagem não informa. Por isso, não é possível avaliar se o esquema supera o ajuste manual.
O que levar para a prática
Mesmo sem reproduzir o esquema inteiro, há três regras que funcionam em qualquer pipeline agentivo:
- Uma alteração, um experimento. Se forem mudadas cinco coisas ao mesmo tempo, o resultado não pode ser explicado.
- Orçamento de tempo rígido. O limite de 5 minutos impede que uma execução travada consuma os recursos das demais e torna os experimentos comparáveis.
- Reversão automática e registro. Um juiz com poder de desfazer mudanças e uma memória compartilhada das falhas custam menos do que investigar o que os agentes quebraram durante a noite.
Há também limitações. Cinco minutos de treinamento mostram se a alteração ajuda no início, mas não garantem que ela não prejudique em um treinamento longo. Uma mudança que vence com orçamento pequeno pode perder quando o treinamento é completo. As 15 execuções paralelas também custam em poder computacional. Além disso, muitos agentes especializados significam muitos prompts diferentes e muitos pontos de falha. Talvez parte dos papéis possa ser unida sem perda de qualidade, mas essa conclusão não se tira da postagem.
Para fundadores e gerentes de produto, a mensagem é direta. A rotina da pesquisa, como busca de hiperparâmetros, testes de ablação e manutenção de registros, se encaixa bem em um pipeline multiagente quando há uma métrica numérica clara e uma verificação rápida. Onde a métrica é vaga, um agente juiz tende a errar. Onde ela é inequívoca, como o val_bpb, a automação da pesquisa passa a ser um problema de engenharia bastante concreto.
- 29 de out. de 2026Jogo Spawn é desenvolvido por um enxame de agentes de IA: tokens custam $3 milhões por mês
- 12 de out. de 2026Karpathy, da Anthropic: 5000 pessoas veem uma IA que o resto do mundo não vê
- 25 de fev. de 2026Andrej Karpathy coloca um GPT inteiro em 243 linhas de Python puro
- 2 de fev. de 2026Moltbook: como virar Andrej Karpathy em cinco minutos (e por que isso é triste)
Perguntas frequentes sobre a notícia
Como o pipeline funciona?
Cada agente tem um papel restrito. O agente Hypothesis propõe o próximo experimento. Os especialistas Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention e Kernel Fuser são responsáveis, cada um, por uma parte do treinamento: inicialização dos pesos, taxa de aprendizado, normalização, otimizador, composição dos dados, mecanismo de atenção e aceleração dos cálculos. O Trainer executa o treinamento. Batch Sizer e Ablator verificam as configurações e identificam qual alteração produziu cada efeito.
O que se sabe sobre Memória e disciplina?
A parte mais prática do esquema é o arquivo program.md. Nele entram todas as tentativas, inclusive as malsucedidas. O próximo agente de hipóteses lê o registro e não propõe o que já não funcionou. Essa é a proteção contra o principal problema dos experimentos automáticos: o sistema andar em círculos e repetir as mesmas falhas. Na execução descrita, 7 experimentos foram interrompidos pelo limite de tempo, e as alterações rejeitadas não entraram na versão seguinte.
O que levar para a prática?
Mesmo sem reproduzir o esquema inteiro, há três regras que funcionam em qualquer pipeline agentivo: Uma alteração, um experimento. Se forem mudadas cinco coisas ao mesmo tempo, o resultado não pode ser explicado. Orçamento de tempo rígido. O limite de 5 minutos impede que uma execução travada consuma os recursos das demais e torna os experimentos comparáveis. Reversão automática e registro.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.