MELT-1: как Metabolic AI тестирует агентов на выживание
Habr выложил статью про MELT-1 — бенчмарк, который меряет не MMLU, а то, как долго AI-агент проживёт под дрифтом распределения. Metabolic AI показал 1600× лучший результат, чем Llama-7B INT8 на задаче manipulation. Бенч открытый — сценарии, оракул, коды.
AI-обработка оригинала Habr AI; редакция Hamidun News
MELT-1 — это не MMLU и не MMLU Pro. Это новый открытый бенчмарк для тестирования AI-агентов в реальных условиях: не "что модель знает", а "сколько часов она проживёт, когда всё меняется вокруг".
Три оси вместо одного числа Обычные бенчмарки (MMLU, ARC, GPQA) предполагают идеальные условия:
статичные вопросы, стабильное распределение данных. MELT-1 измеряет три вещи сразу: Экономику вычисления: сколько стоит содержать агент в боевых условиях ($/1M успешных решений) Выживание под дрифтом: сколько часов агент работает без переобучения, прежде чем начнёт ошибаться * Латентность в стрессе: p99 время от сенсора до актуатора при температуре 40°C 30 суток непрерывного инференса, 5 сидов, два температурных профиля. Это не лабораторный тест — это сценарий, в котором настоящий робот должен работать днём и ночью, летом и зимой.
Результаты: 1600× разница На closed-loop манипуляции (робот хватает и складывает предметы)
Metabolic AI — архитектура без трансформера — обогнала Llama-class 7B INT8 в 9.4 раза по стоимости и в 8.5 раза по выживанию под дрифтом. Композитно: 1600×. Это не потому, что Llama плохая. Это потому, что 7B трансформеры спроектированы для статичного knowledge retrieval, а не для воплощённого агента, который нужно держать горячим 24/7.
«Трансформеры умирают через 11 часов под дрифтом», — пишут авторы.
Открытость как стандарт Архитектура
Metabolic AI закрыта (патент на экспертизе), но бенчмарк полностью открыт: харнесс, тестовые сцены, оракул, скрипты чувствительности, VAE-энкодер дрифта для воспроизведения. Методология в PDF с разделом о threats to validity. Исследователи приглашают других прогнать свои агенты и положить результаты рядом. Это способ, которым должна делаться наука о глубоком обучении: закрытая IP, открытые бенчмарки, воспроизводимость через код.
Что это значит MELT-1 может стать новым стандартом для робототехники и embodied AI.
MMLU показывает, "умна" ли модель. MELT-1 показывает, "живучая" ли она.
- 20 нояб. 2026 г.Abundant гоняет 2 млн песочниц в месяц и платит за средний расход, а не за пик
- 20 нояб. 2026 г.Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
- 19 нояб. 2026 г.MLPerf Training: кластеры на 10 240 GPU и ускорение обучения на 49% за полгода
- 19 нояб. 2026 г.SageMaker стал слать LLM-запросы на GPU с готовым кэшем: первый токен быстрее на 97%
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.