MELT-1: cómo Metabolic AI pone a prueba la supervivencia de los agentes
Habr ha publicado un artículo sobre MELT-1, un benchmark que no mide MMLU, sino cuánto tiempo sobrevive un agente de IA bajo deriva de la distribución. Metabolic AI obtuvo un resultado 1600 veces mejor que Llama-7B INT8 en la tarea de manipulación. El benchmark es abierto: escenarios, oráculo y código están disponibles.
Procesado por IA desde Habr AI; editado por Hamidun News
MELT-1 no es MMLU ni MMLU Pro. Es un nuevo benchmark abierto para probar agentes de IA en condiciones reales: no mide "qué sabe el modelo", sino "cuántas horas sobrevive cuando todo a su alrededor cambia".
Tres ejes en lugar de una sola cifra
Los benchmarks habituales (MMLU, ARC, GPQA) asumen condiciones ideales: preguntas estáticas y una distribución de datos estable. MELT-1 mide tres cosas a la vez:
- Economía del cómputo: cuánto cuesta mantener un agente en condiciones reales ($/1M de decisiones exitosas)
- Supervivencia bajo deriva: cuántas horas funciona el agente sin reentrenamiento antes de empezar a fallar
- Latencia bajo estrés: tiempo p99 del sensor al actuador a una temperatura de 40°C
La prueba dura 30 días de inferencia continua, con 5 semillas y dos perfiles de temperatura. No es un test de laboratorio: es un escenario en el que un robot real debe trabajar de día y de noche, en verano y en invierno.
Resultados: una diferencia de 1600×
En manipulación en lazo cerrado (un robot agarra y apila objetos), Metabolic AI, una arquitectura sin transformer, superó a un modelo de clase Llama de 7B INT8 en 9,4 veces en coste y en 8,5 veces en supervivencia bajo deriva. En conjunto: 1600×. No es porque Llama sea mala. Es porque los transformers de 7B están diseñados para recuperar conocimiento estático, no para un agente encarnado que debe mantenerse activo 24/7.
«Los transformers mueren a las 11 horas bajo deriva», escriben los autores.
La apertura como estándar
La arquitectura de Metabolic AI es cerrada (la patente está en examen), pero el benchmark es totalmente abierto: el harness, las escenas de prueba, el oráculo, los scripts de sensibilidad y un codificador VAE de deriva para reproducir los resultados. La metodología está en un PDF con una sección sobre amenazas a la validez. Los investigadores invitan a otros a ejecutar sus propios agentes y colocar los resultados al lado de los suyos.
Así debería hacerse la ciencia del aprendizaje profundo: propiedad intelectual cerrada, benchmarks abiertos y reproducibilidad mediante código.
Qué significa
MELT-1 puede convertirse en un nuevo estándar para la robótica y la IA encarnada. MMLU muestra si un modelo es "inteligente". MELT-1 muestra si es "resistente".
- 20 nov 2026Abundant ejecuta 2 millones de sandboxes al mes y paga por el consumo medio, no por el pico
- 20 nov 2026GLM 5.3 en local aceleró un 100% una IA en ESP32-S3; Qwen 3.8 27B, un 30%
- 19 nov 2026MLPerf Training: clústeres de 10 240 GPU y un entrenamiento un 49% más rápido en seis meses
- 19 nov 2026SageMaker ya envía las solicitudes LLM al GPU con la caché lista: el primer token llega un 97% más rápido
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Tres ejes en lugar de una sola cifra?
Los benchmarks habituales (MMLU, ARC, GPQA) asumen condiciones ideales: preguntas estáticas y una distribución de datos estable. MELT-1 mide tres cosas a la vez: Economía del cómputo: cuánto cuesta mantener un agente en condiciones reales ($/1M de decisiones exitosas) Supervivencia bajo deriva: cuántas horas funciona el agente sin reentrenamiento antes de empezar a fallar Latencia bajo estrés: tiempo p99 del sensor al actuador a una temperatura de 40°C La prueba dura 30 días de inferencia…
¿Qué se sabe sobre Resultados: una diferencia de 1600×?
En manipulación en lazo cerrado (un robot agarra y apila objetos), Metabolic AI, una arquitectura sin transformer, superó a un modelo de clase Llama de 7B INT8 en 9,4 veces en coste y en 8,5 veces en supervivencia bajo deriva. En conjunto: 1600×. No es porque Llama sea mala. Es porque los transformers de 7B están diseñados para recuperar conocimiento estático, no para un agente encarnado que debe mantenerse activo 24/7. «Los transformers mueren a las 11 horas bajo deriva», escriben los autores.
¿Qué se sabe sobre La apertura como estándar?
La arquitectura de Metabolic AI es cerrada (la patente está en examen), pero el benchmark es totalmente abierto: el harness, las escenas de prueba, el oráculo, los scripts de sensibilidad y un codificador VAE de deriva para reproducir los resultados. La metodología está en un PDF con una sección sobre amenazas a la validez. Los investigadores invitan a otros a ejecutar sus propios agentes y colocar los resultados al lado de los suyos.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.