MELT-1: como a Metabolic AI testa a sobrevivência de agentes

O MELT-1 não é o MMLU nem o MMLU Pro. É um novo benchmark aberto para testar agentes de IA em condições reais: não mede "o que o modelo sabe", mas "quantas horas ele sobrevive quando tudo ao redor muda".

Três eixos em vez de um único número

Os benchmarks tradicionais (MMLU, ARC, GPQA) pressupõem condições ideais: perguntas estáticas e distribuição de dados estável. O MELT-1 mede três coisas ao mesmo tempo:

• Economia da computação: quanto custa manter um agente em operação real ($/1M de decisões bem-sucedidas)
• Sobrevivência sob drift: quantas horas o agente funciona sem retreinamento antes de começar a errar
• Latência sob estresse: tempo p99 do sensor ao atuador a uma temperatura de 40°C

O teste dura 30 dias de inferência contínua, com 5 seeds e dois perfis de temperatura. Não é um teste de laboratório: é um cenário em que um robô de verdade precisa trabalhar de dia e de noite, no verão e no inverno.

Resultados: diferença de 1600×

Em manipulação em malha fechada (um robô pega e organiza objetos), a Metabolic AI, uma arquitetura sem transformer, superou um modelo da classe Llama de 7B INT8 em 9,4 vezes no custo e em 8,5 vezes na sobrevivência sob drift. No composto: 1600×. Não é porque o Llama seja ruim. É porque os transformers de 7B foram projetados para recuperação de conhecimento estático, não para um agente incorporado que precisa ficar ativo 24/7.

"Transformers morrem em 11 horas sob drift", escrevem os autores.

Abertura como padrão

A arquitetura da Metabolic AI é fechada (a patente está em exame), mas o benchmark é totalmente aberto: harness, cenas de teste, oráculo, scripts de sensibilidade e um codificador VAE de drift para reprodução. A metodologia está em um PDF com uma seção sobre ameaças à validade. Os pesquisadores convidam outros a rodar seus próprios agentes e colocar os resultados lado a lado.

É assim que a ciência de deep learning deveria ser feita: propriedade intelectual fechada, benchmarks abertos e reprodutibilidade por meio de código.

O que isso significa

O MELT-1 pode se tornar um novo padrão para robótica e IA incorporada. O MMLU mostra se um modelo é "inteligente". O MELT-1 mostra se ele é "resistente".