Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

Библиотека vue-llm запускает ИИ-чат на Vue прямо в браузере: модель от 400 МБ

Готовые инструменты для ИИ-чатов в основном пишут под React, а во Vue и Nuxt стриминг ответа и вызовы инструментов приходилось собирать руками. Библиотека vue-llm даёт для этого композабл useChat, который работает с OpenAI, Anthropic, Gemini и Ollama. Есть и режим без сервера: модель работает в браузере на видеокарте через WebGPU, первая загрузка — от 400 МБ, затем кеш на секунду-две. Для Vue-команд это готовая основа вместо самописной.

AI-обработка оригинала Habr AI; редакция Hamidun News
Библиотека vue-llm запускает ИИ-чат на Vue прямо в браузере: модель от 400 МБ
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Лицензия MIT, версия 1.3, из зависимостей в рантайме только Vue
Ключевой факт #2API-ключ остаётся на сервере, в примере лимит 30 запросов в минуту
Ключевой факт #3Карточка с ответом заполняется, пока модель ещё дописывает вызов

Если вы делали AI-фичу на Vue (популярном фронтенд-фреймворке) или на Nuxt (его надстройке для полноценных сайтов), то, скорее всего, упирались в одно и то же: почти все готовые инструменты для чатов с языковыми моделями написаны под React. Во Vue их приходится адаптировать или вручную писать стриминг (вывод ответа по мере генерации, а не целиком), вызов инструментов и состояние диалога. Разработчик выпустил open-source библиотеку vue-llm, которая берёт эту рутину на себя для Vue 3, Nuxt и даже Vue 2.

7. Самый наглядный сценарий: небольшая модель запускается прямо в браузере пользователя на его видеокарте через WebGPU. Без сервера и API-ключа, но с разовой загрузкой модели размером от 400 МБ.

Библиотека распространяется под MIT, сейчас у неё версия 1.3, а в рантайме она не тянет зависимостей, кроме самого Vue.

Чат за десять строк и ключ на сервере

Основа — композабл useChat. Он выводит ответ модели токен за токеном в реактивное состояние: сообщения, статус, ошибка, отмена, перегенерация. Сообщения состоят из «частей»: текст, рассуждения модели, вызовы инструментов, файлы, источники. Поэтому один шаблон показывает и обычный ответ, и рассуждения Claude или Qwen3, и вызов инструмента.

API-ключ остаётся на сервере. Серверная часть — обычный обработчик Request → Response по веб-стандарту. Он работает в Nuxt/Nitro, Node, Bun, Deno и на edge-рантаймах. В примере автора там же включён лимит: 30 запросов в минуту. Для продакшна это полезная мелочь: без неё публичный чат быстро превращается в чужой бесплатный доступ к вашему счёту за токены.

Из коробки поддерживаются OpenAI и любой OpenAI-совместимый API, Anthropic, Google Gemini и Ollama. Если у вас уже есть свой бэкенд со стримингом, createSSEProvider подключает к нему useChat. Вы описываете, как ваши SSE-события превращаются в куски ответа, а остальное работает как обычно.

Generative UI и человек в контуре

Самая интересная часть — Generative UI. Когда модель вызывает инструмент, вместо текста можно показать ваш Vue-компонент. Аргументы стримятся в компонент по мере генерации: карточка погоды начинает заполняться, ещё пока модель дописывает вызов. Чтобы это работало, автору пришлось написать парсер «недописанного» JSON. Строка {"city":"Мос превращается в { city: 'Мос' }, а незаконченные ключи отбрасываются, пока не допишутся.

Инструмент с функцией execute выполняется сам. Инструмент без неё ставит чат на паузу и ждёт ответа из интерфейса. Так делается схема human-in-the-loop, когда решение принимает человек. Например, модель предлагает забронировать столик, пользователь жмёт «Подтвердить» в карточке, addToolResult передаёт ответ, и разговор идёт дальше. Для необратимых действий (оплата, отправка письма, удаление) это надёжнее, чем просить модель в промпте «спрашивай разрешение».

Модели в браузере и экономика токенов

Провайдер createWebLLM запускает открытые модели (Llama 3.2, Qwen, SmolLM, Phi) на WebGPU через WebLLM. Сервера и ключа не нужно, данные не покидают устройство. В коде меняется только провайдер, а useChat остаётся тем же, что и с OpenAI.

С точки зрения затрат это любопытный ход. Простые задачи вроде перефразирования, классификации или короткого автодополнения можно отдавать локальной модели и не платить за каждый токен. Автор предлагает и гибрид: пользователям без WebGPU давать серверную модель, остальным — локальную. Цена такого подхода — первая загрузка от 400 МБ. Дальше модель берётся из кеша браузера за секунду-две. Но компактные модели вроде Llama 3.2 1B в квантованном виде заметно слабее облачных флагманов, так что сложные рассуждения и длинный контекст лучше оставлять серверу.

Интерфейс, DevTools и Nuxt

Библиотека устроена гибридно. В npm лежит headless-логика (без готового оформления): usePromptInput и useAutoScroll. Они закрывают неприятные детали: автоскролл, который не дёргает пользователя, листающего вверх; Enter, который не отправляет сообщение при наборе на китайском или японском; вставку картинок из буфера и drag-and-drop файлов. Готовые компоненты копируются в проект командой shadcn-vue, после чего код принадлежит вам. Они используют токены темы shadcn, поэтому подстраиваются под остальной интерфейс, включая тёмную тему.

Для отладки есть модуль vue-llm/devtools: во вкладке LLM в Vue DevTools видны все useChat, токены, время до первого токена, скорость генерации, вызовы инструментов и таймлайн запросов. Без плагина библиотека ничего не трассирует и ресурсы на это не тратит. Nuxt-модуль ставится одной командой, делает auto-import композаблов и провайдеров и проверен на Nuxt 3 и 4.

Ограничения и что дальше

Автор сравнивает проект с готовыми AI SDK и называет его Vue-first. Отличия — Nuxt-модуль, компоненты для Generative UI, DevTools, провайдер для браузерных моделей, адаптер под существующий SSE-бэкенд и поддержка Vue 2.7 для композаблов, что важно для легаси-админок. При этом проект молодой и ведётся одним разработчиком, поэтому зрелость экосистемы пока несопоставима с React-аналогами. Перед внедрением стоит проверить, как ведут себя ваши провайдеры и сценарии на реальной нагрузке.

В планах — MCP-клиент для подключения MCP-серверов как инструментов, ответы с цитатами для RAG и голосовой ввод. Для Vue-команд, которым нужен чат или агентный интерфейс, песочница без API-ключа позволяет оценить подход за несколько минут.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: чат за десять строк и ключ на сервере?

Основа — композабл useChat. Он выводит ответ модели токен за токеном в реактивное состояние: сообщения, статус, ошибка, отмена, перегенерация. Сообщения состоят из «частей»: текст, рассуждения модели, вызовы инструментов, файлы, источники. Поэтому один шаблон показывает и обычный ответ, и рассуждения Claude или Qwen3, и вызов инструмента. API-ключ остаётся на сервере. Серверная часть — обычный обработчик Request → Response по веб-стандарту. Он работает в Nuxt/Nitro, Node, Bun, Deno и на edge-рантаймах.

Что известно по теме: Generative UI и человек в контуре?

Самая интересная часть — Generative UI. Когда модель вызывает инструмент, вместо текста можно показать ваш Vue-компонент. Аргументы стримятся в компонент по мере генерации: карточка погоды начинает заполняться, ещё пока модель дописывает вызов. Чтобы это работало, автору пришлось написать парсер «недописанного» JSON. Строка {"city":"Мос превращается в { city: 'Мос' }, а незаконченные ключи отбрасываются, пока не допишутся. Инструмент с функцией execute выполняется сам.

Что известно по теме: модели в браузере и экономика токенов?

Провайдер createWebLLM запускает открытые модели (Llama 3.2, Qwen, SmolLM, Phi) на WebGPU через WebLLM. Сервера и ключа не нужно, данные не покидают устройство. В коде меняется только провайдер, а useChat остаётся тем же, что и с OpenAI. С точки зрения затрат это любопытный ход. Простые задачи вроде перефразирования, классификации или короткого автодополнения можно отдавать локальной модели и не платить за каждый токен.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…