Stanford introduced OpenJarvis — a local AI agent stack with memory and learning

Исследователи Стэнфорда выпустили OpenJarvis — open-source фреймворк для персональных AI-агентов, которые работают полностью на устройстве пользователя. Проект задуман как готовый стек для локального AI: от запуска моделей и оркестрации агентов до памяти, инструментов, бенчмарков и последующего обучения на локальных данных.

Почему это важно

Большинство персональных AI-систем до сих пор выглядят локальными лишь снаружи: интерфейс работает на ноутбуке, но основное мышление уходит в облачные API. Для задач, связанных с файлами, заметками, письмами и постоянным пользовательским контекстом, это означает задержки, регулярные расходы и лишнюю передачу чувствительных данных. OpenJarvis предлагает другую модель: локальный запуск по умолчанию, а облако — только как опция, когда без него действительно не обойтись.

В Стэнфорде связывают релиз с собственной работой Intelligence Per Watt. По данным лаборатории, локальные языковые модели и локальные ускорители уже способны корректно обслуживать 88,7% одноходовых запросов на чат и рассуждение при интерактивной скорости ответа, а эффективность по метрике «интеллект на ватт» выросла в 5,3 раза с 2023 по 2025 год. Идея OpenJarvis в том, что железо и модели уже почти готовы, а рынку не хватало единого программного слоя для таких систем.

Как устроен стек

OpenJarvis построен вокруг пяти примитивов, которые можно заменять, тестировать и оптимизировать независимо друг от друга. Такой подход должен убрать типичную для локальных AI-сборок путаницу, когда inference, агентная логика, работа с инструментами, память и обучение переплетены в один трудно воспроизводимый проект. В результате разработчик может сравнивать не всю систему целиком, а конкретный слой — модель, движок, память или поведение агента.

Это делает эксперименты и продакшн-внедрение заметно проще. Intelligence — слой моделей с единым каталогом локальных LLM и абстракцией над их выбором. Engine — рантайм для запуска через Ollama, vLLM, SGLang, llama.

cpp и другие движки. Agents — роли агентов, включая Orchestrator для декомпозиции задач и Operative для повторяющихся сценариев. Tools & Memory — доступ к инструментам, локальной памяти, семантическому поиску, MCP и агентному обмену через A2A.

* Learning — контур улучшения, который использует локальные трейсы для донастройки и оптимизации. Отдельный акцент сделан на том, чтобы система не ограничивалась чатом. OpenJarvis умеет работать с локальным поиском по заметкам и документам, подключать инструменты вроде web search, калькулятора, файлового ввода-вывода и интерпретации кода, а также связываться с внешними MCP-серверами.

За счёт этого фреймворк позиционируется не как оболочка над одной моделью, а как инфраструктура для персонального агента с долгой памятью и доступом к реальной среде пользователя.

Что уже доступно С практической стороны проект выглядит достаточно приземлённо.

У OpenJarvis есть CLI, Python SDK, браузерный интерфейс и десктопное приложение для macOS, Windows и Linux. Команда `jarvis init` определяет доступное железо и рекомендует подходящую связку движка и модели, `jarvis doctor` помогает диагностировать конфигурацию, а `jarvis serve` поднимает OpenAI-совместимый API-сервер на FastAPI, чтобы разработчики могли подключать существующие клиенты и фронтенды почти без переделок. Базовые сценарии, по документации, могут работать вообще без сети.

Ещё одна сильная сторона — измерение эффективности, а не только качества ответа. Фреймворк собирает телеметрию по энергии, задержке, FLOPs и денежной стоимости запроса, поддерживает профилирование на NVIDIA, AMD и Apple Silicon и стандартизирует бенчмарки через `jarvis bench`. Параллельно OpenJarvis сохраняет локальные трейсы взаимодействия: от prompt-completion пар до последовательностей действий агента и вызовов инструментов.

На этой базе можно оптимизировать не только веса модели, но и промпты, агентную логику и сам inference-движок — например, через квантование, DSPy, GEPA, SFT, DPO или GRPO.

Что это значит

OpenJarvis показывает, что локальный AI смещается из разряда экспериментальных сборок в сторону полноценного инженерного стека. Если подход Стэнфорда приживётся, разработчики получат стандартную основу для персональных агентов, которые хранят данные у пользователя, дешевле в эксплуатации и со временем становятся полезнее за счёт обучения на собственных локальных сценариях. Для рынка это ещё один сигнал: часть повседневных AI-задач скоро начнёт мигрировать с облака на личные устройства.