Библиотека vue-llm запускает ИИ-чат на Vue прямо в браузере: модель от 400 МБ
Готовые инструменты для ИИ-чатов в основном пишут под React, а во Vue и Nuxt стриминг ответа и вызовы инструментов приходилось собирать руками. Библиотека vue-llm даёт для этого композабл useChat, который работает с OpenAI, Anthropic, Gemini и Ollama. Есть и режим без сервера: модель работает в браузере на видеокарте через WebGPU, первая загрузка — от 400 МБ, затем кеш на секунду-две. Для Vue-команд это готовая основа вместо самописной.
AI-обработка оригинала Habr AI; редакция Hamidun News
Если вы делали AI-фичу на Vue (популярном фронтенд-фреймворке) или на Nuxt (его надстройке для полноценных сайтов), то, скорее всего, упирались в одно и то же: почти все готовые инструменты для чатов с языковыми моделями написаны под React. Во Vue их приходится адаптировать или вручную писать стриминг (вывод ответа по мере генерации, а не целиком), вызов инструментов и состояние диалога. Разработчик выпустил open-source библиотеку vue-llm, которая берёт эту рутину на себя для Vue 3, Nuxt и даже Vue 2.
7. Самый наглядный сценарий: небольшая модель запускается прямо в браузере пользователя на его видеокарте через WebGPU. Без сервера и API-ключа, но с разовой загрузкой модели размером от 400 МБ.
Библиотека распространяется под MIT, сейчас у неё версия 1.3, а в рантайме она не тянет зависимостей, кроме самого Vue.
Чат за десять строк и ключ на сервере
Основа — композабл useChat. Он выводит ответ модели токен за токеном в реактивное состояние: сообщения, статус, ошибка, отмена, перегенерация. Сообщения состоят из «частей»: текст, рассуждения модели, вызовы инструментов, файлы, источники. Поэтому один шаблон показывает и обычный ответ, и рассуждения Claude или Qwen3, и вызов инструмента.
API-ключ остаётся на сервере. Серверная часть — обычный обработчик Request → Response по веб-стандарту. Он работает в Nuxt/Nitro, Node, Bun, Deno и на edge-рантаймах. В примере автора там же включён лимит: 30 запросов в минуту. Для продакшна это полезная мелочь: без неё публичный чат быстро превращается в чужой бесплатный доступ к вашему счёту за токены.
Из коробки поддерживаются OpenAI и любой OpenAI-совместимый API, Anthropic, Google Gemini и Ollama. Если у вас уже есть свой бэкенд со стримингом, createSSEProvider подключает к нему useChat. Вы описываете, как ваши SSE-события превращаются в куски ответа, а остальное работает как обычно.
Generative UI и человек в контуре
Самая интересная часть — Generative UI. Когда модель вызывает инструмент, вместо текста можно показать ваш Vue-компонент. Аргументы стримятся в компонент по мере генерации: карточка погоды начинает заполняться, ещё пока модель дописывает вызов. Чтобы это работало, автору пришлось написать парсер «недописанного» JSON. Строка {"city":"Мос превращается в { city: 'Мос' }, а незаконченные ключи отбрасываются, пока не допишутся.
Инструмент с функцией execute выполняется сам. Инструмент без неё ставит чат на паузу и ждёт ответа из интерфейса. Так делается схема human-in-the-loop, когда решение принимает человек. Например, модель предлагает забронировать столик, пользователь жмёт «Подтвердить» в карточке, addToolResult передаёт ответ, и разговор идёт дальше. Для необратимых действий (оплата, отправка письма, удаление) это надёжнее, чем просить модель в промпте «спрашивай разрешение».
Модели в браузере и экономика токенов
Провайдер createWebLLM запускает открытые модели (Llama 3.2, Qwen, SmolLM, Phi) на WebGPU через WebLLM. Сервера и ключа не нужно, данные не покидают устройство. В коде меняется только провайдер, а useChat остаётся тем же, что и с OpenAI.
С точки зрения затрат это любопытный ход. Простые задачи вроде перефразирования, классификации или короткого автодополнения можно отдавать локальной модели и не платить за каждый токен. Автор предлагает и гибрид: пользователям без WebGPU давать серверную модель, остальным — локальную. Цена такого подхода — первая загрузка от 400 МБ. Дальше модель берётся из кеша браузера за секунду-две. Но компактные модели вроде Llama 3.2 1B в квантованном виде заметно слабее облачных флагманов, так что сложные рассуждения и длинный контекст лучше оставлять серверу.
Интерфейс, DevTools и Nuxt
Библиотека устроена гибридно. В npm лежит headless-логика (без готового оформления): usePromptInput и useAutoScroll. Они закрывают неприятные детали: автоскролл, который не дёргает пользователя, листающего вверх; Enter, который не отправляет сообщение при наборе на китайском или японском; вставку картинок из буфера и drag-and-drop файлов. Готовые компоненты копируются в проект командой shadcn-vue, после чего код принадлежит вам. Они используют токены темы shadcn, поэтому подстраиваются под остальной интерфейс, включая тёмную тему.
Для отладки есть модуль vue-llm/devtools: во вкладке LLM в Vue DevTools видны все useChat, токены, время до первого токена, скорость генерации, вызовы инструментов и таймлайн запросов. Без плагина библиотека ничего не трассирует и ресурсы на это не тратит. Nuxt-модуль ставится одной командой, делает auto-import композаблов и провайдеров и проверен на Nuxt 3 и 4.
Ограничения и что дальше
Автор сравнивает проект с готовыми AI SDK и называет его Vue-first. Отличия — Nuxt-модуль, компоненты для Generative UI, DevTools, провайдер для браузерных моделей, адаптер под существующий SSE-бэкенд и поддержка Vue 2.7 для композаблов, что важно для легаси-админок. При этом проект молодой и ведётся одним разработчиком, поэтому зрелость экосистемы пока несопоставима с React-аналогами. Перед внедрением стоит проверить, как ведут себя ваши провайдеры и сценарии на реальной нагрузке.
В планах — MCP-клиент для подключения MCP-серверов как инструментов, ответы с цитатами для RAG и голосовой ввод. Для Vue-команд, которым нужен чат или агентный интерфейс, песочница без API-ключа позволяет оценить подход за несколько минут.
- 21 нояб. 2026 г.OpenAI GPT-6 Cyber нашла около 35 дыр в iPhone, Mac и другой технике Apple
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
- 21 нояб. 2026 г.Google разделит хранение чатов и обучение Gemini: отказ без потери истории
- 21 нояб. 2026 г.Apple в macOS 27.3 beta 2 даст ограничивать доступ ИИ-агентов к файлам Mac
Вопросы и ответы по материалу
Что известно по теме: чат за десять строк и ключ на сервере?
Основа — композабл useChat. Он выводит ответ модели токен за токеном в реактивное состояние: сообщения, статус, ошибка, отмена, перегенерация. Сообщения состоят из «частей»: текст, рассуждения модели, вызовы инструментов, файлы, источники. Поэтому один шаблон показывает и обычный ответ, и рассуждения Claude или Qwen3, и вызов инструмента. API-ключ остаётся на сервере. Серверная часть — обычный обработчик Request → Response по веб-стандарту. Он работает в Nuxt/Nitro, Node, Bun, Deno и на edge-рантаймах.
Что известно по теме: Generative UI и человек в контуре?
Самая интересная часть — Generative UI. Когда модель вызывает инструмент, вместо текста можно показать ваш Vue-компонент. Аргументы стримятся в компонент по мере генерации: карточка погоды начинает заполняться, ещё пока модель дописывает вызов. Чтобы это работало, автору пришлось написать парсер «недописанного» JSON. Строка {"city":"Мос превращается в { city: 'Мос' }, а незаконченные ключи отбрасываются, пока не допишутся. Инструмент с функцией execute выполняется сам.
Что известно по теме: модели в браузере и экономика токенов?
Провайдер createWebLLM запускает открытые модели (Llama 3.2, Qwen, SmolLM, Phi) на WebGPU через WebLLM. Сервера и ключа не нужно, данные не покидают устройство. В коде меняется только провайдер, а useChat остаётся тем же, что и с OpenAI. С точки зрения затрат это любопытный ход. Простые задачи вроде перефразирования, классификации или короткого автодополнения можно отдавать локальной модели и не платить за каждый токен.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.