Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoPaper científico · Para I+DHabr AI→ original

MELT-1: cómo Metabolic AI pone a prueba la supervivencia de los agentes

Habr ha publicado un artículo sobre MELT-1, un benchmark que no mide MMLU, sino cuánto tiempo sobrevive un agente de IA bajo deriva de la distribución. Metabolic AI obtuvo un resultado 1600 veces mejor que Llama-7B INT8 en la tarea de manipulación. El benchmark es abierto: escenarios, oráculo y código están disponibles.

Procesado por IA desde Habr AI; editado por Hamidun News
MELT-1: cómo Metabolic AI pone a prueba la supervivencia de los agentes
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Economía del cómputocuánto cuesta mantener un agente en condiciones reales ($/1M de decisiones exitosas)
Supervivencia bajo derivacuántas horas funciona el agente sin reentrenamiento antes de empezar a fallar
Latencia bajo estréstiempo p99 del sensor al actuador a una temperatura de 40°C

MELT-1 no es MMLU ni MMLU Pro. Es un nuevo benchmark abierto para probar agentes de IA en condiciones reales: no mide "qué sabe el modelo", sino "cuántas horas sobrevive cuando todo a su alrededor cambia".

Tres ejes en lugar de una sola cifra

Los benchmarks habituales (MMLU, ARC, GPQA) asumen condiciones ideales: preguntas estáticas y una distribución de datos estable. MELT-1 mide tres cosas a la vez:

  • Economía del cómputo: cuánto cuesta mantener un agente en condiciones reales ($/1M de decisiones exitosas)
  • Supervivencia bajo deriva: cuántas horas funciona el agente sin reentrenamiento antes de empezar a fallar
  • Latencia bajo estrés: tiempo p99 del sensor al actuador a una temperatura de 40°C

La prueba dura 30 días de inferencia continua, con 5 semillas y dos perfiles de temperatura. No es un test de laboratorio: es un escenario en el que un robot real debe trabajar de día y de noche, en verano y en invierno.

Resultados: una diferencia de 1600×

En manipulación en lazo cerrado (un robot agarra y apila objetos), Metabolic AI, una arquitectura sin transformer, superó a un modelo de clase Llama de 7B INT8 en 9,4 veces en coste y en 8,5 veces en supervivencia bajo deriva. En conjunto: 1600×. No es porque Llama sea mala. Es porque los transformers de 7B están diseñados para recuperar conocimiento estático, no para un agente encarnado que debe mantenerse activo 24/7.

«Los transformers mueren a las 11 horas bajo deriva», escriben los autores.

La apertura como estándar

La arquitectura de Metabolic AI es cerrada (la patente está en examen), pero el benchmark es totalmente abierto: el harness, las escenas de prueba, el oráculo, los scripts de sensibilidad y un codificador VAE de deriva para reproducir los resultados. La metodología está en un PDF con una sección sobre amenazas a la validez. Los investigadores invitan a otros a ejecutar sus propios agentes y colocar los resultados al lado de los suyos.

Así debería hacerse la ciencia del aprendizaje profundo: propiedad intelectual cerrada, benchmarks abiertos y reproducibilidad mediante código.

Qué significa

MELT-1 puede convertirse en un nuevo estándar para la robótica y la IA encarnada. MMLU muestra si un modelo es "inteligente". MELT-1 muestra si es "resistente".

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Tres ejes en lugar de una sola cifra?

Los benchmarks habituales (MMLU, ARC, GPQA) asumen condiciones ideales: preguntas estáticas y una distribución de datos estable. MELT-1 mide tres cosas a la vez: Economía del cómputo: cuánto cuesta mantener un agente en condiciones reales ($/1M de decisiones exitosas) Supervivencia bajo deriva: cuántas horas funciona el agente sin reentrenamiento antes de empezar a fallar Latencia bajo estrés: tiempo p99 del sensor al actuador a una temperatura de 40°C La prueba dura 30 días de inferencia…

¿Qué se sabe sobre Resultados: una diferencia de 1600×?

En manipulación en lazo cerrado (un robot agarra y apila objetos), Metabolic AI, una arquitectura sin transformer, superó a un modelo de clase Llama de 7B INT8 en 9,4 veces en coste y en 8,5 veces en supervivencia bajo deriva. En conjunto: 1600×. No es porque Llama sea mala. Es porque los transformers de 7B están diseñados para recuperar conocimiento estático, no para un agente encarnado que debe mantenerse activo 24/7. «Los transformers mueren a las 11 horas bajo deriva», escriben los autores.

¿Qué se sabe sobre La apertura como estándar?

La arquitectura de Metabolic AI es cerrada (la patente está en examen), pero el benchmark es totalmente abierto: el harness, las escenas de prueba, el oráculo, los scripts de sensibilidad y un codificador VAE de deriva para reproducir los resultados. La metodología está en un PDF con una sección sobre amenazas a la validez. Los investigadores invitan a otros a ejecutar sus propios agentes y colocar los resultados al lado de los suyos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…