Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoHabr AI→ original

Biblioteca vue-llm leva chat com IA em Vue direto ao navegador: modelo a partir de 400 MB

As ferramentas prontas para chats com IA são escritas principalmente para React, e em Vue e Nuxt o streaming de respostas e as chamadas de ferramentas precisavam ser montados à mão. A biblioteca vue-llm oferece o composable useChat, que funciona com OpenAI, Anthropic, Gemini e Ollama. Há também um modo sem servidor: o modelo roda no navegador, na placa de vídeo, via WebGPU. O primeiro download começa em 400 MB; depois, o cache carrega em um ou dois segundos. Para times de Vue, é uma base pronta no lugar de uma solução caseira.

Processado por IA de Habr AI; editado por Hamidun News
Biblioteca vue-llm leva chat com IA em Vue direto ao navegador: modelo a partir de 400 MB
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Licença MIT, versão 1.3, e a única dependência em runtime é o Vue
Dado-chave #2A chave de API fica no servidor; no exemplo, o limite é de 30 requisições por minuto
Dado-chave #3O cartão com a resposta é preenchido enquanto o modelo ainda termina de escrever a chamada

Se você já construiu uma feature de IA em Vue (popular framework de frontend) ou em Nuxt (sua camada para sites completos), provavelmente esbarrou no mesmo problema: quase todas as ferramentas prontas para chats com modelos de linguagem são escritas para React. Em Vue, é preciso adaptá-las ou escrever manualmente o streaming (exibir a resposta conforme ela é gerada, e não de uma vez), a chamada de ferramentas e o estado da conversa. Um desenvolvedor lançou a biblioteca open source vue-llm, que cuida dessa rotina para Vue 3, Nuxt e até Vue 2.

7. O cenário mais ilustrativo: um modelo pequeno roda direto no navegador do usuário, na placa de vídeo dele, via WebGPU. Sem servidor e sem chave de API, mas com um download único do modelo, de pelo menos 400 MB.

A biblioteca é distribuída sob licença MIT, está na versão 1.3 e, em runtime, não puxa dependências além do próprio Vue.

Chat em dez linhas e a chave no servidor

A base é o composable useChat. Ele entrega a resposta do modelo token a token em um estado reativo: mensagens, status, erro, cancelamento, regeneração. As mensagens são compostas de "partes": texto, raciocínio do modelo, chamadas de ferramentas, arquivos, fontes. Por isso, um único template exibe tanto uma resposta comum quanto o raciocínio de Claude ou Qwen3 e uma chamada de ferramenta.

A chave de API permanece no servidor. A parte de servidor é um handler comum Request → Response, no padrão da web. Ele funciona em Nuxt/Nitro, Node, Bun, Deno e em runtimes de edge. No exemplo do autor, o mesmo handler já inclui um limite: 30 requisições por minuto. Em produção, é um detalhe útil: sem ele, um chat público rapidamente vira acesso gratuito de terceiros à sua conta de tokens.

Há suporte nativo a OpenAI e a qualquer API compatível com OpenAI, Anthropic, Google Gemini e Ollama. Se você já tem um backend próprio com streaming, createSSEProvider conecta esse backend ao useChat. Você descreve como os seus eventos SSE viram trechos da resposta, e o resto funciona normalmente.

Generative UI e humano no circuito

A parte mais interessante é a Generative UI. Quando o modelo chama uma ferramenta, é possível mostrar um componente Vue seu no lugar do texto. Os argumentos chegam ao componente em streaming, conforme são gerados: o cartão de clima começa a ser preenchido enquanto o modelo ainda termina de escrever a chamada. Para isso funcionar, o autor precisou escrever um parser de JSON "incompleto". A string {"city":"Mos vira { city: 'Mos' }, e chaves inacabadas são descartadas até serem completadas.

Uma ferramenta com a função execute é executada automaticamente. Uma ferramenta sem ela pausa o chat e espera a resposta vir da interface. É assim que se implementa o esquema human-in-the-loop, em que a decisão é tomada por uma pessoa. Por exemplo: o modelo sugere reservar uma mesa, o usuário clica em "Confirmar" no cartão, addToolResult repassa a resposta e a conversa segue. Para ações irreversíveis (pagamento, envio de e-mail, exclusão), isso é mais confiável do que pedir ao modelo, no prompt, "peça permissão".

Modelos no navegador e a economia de tokens

O provider createWebLLM executa modelos abertos (Llama 3.2, Qwen, SmolLM, Phi) em WebGPU por meio do WebLLM. Não é preciso servidor nem chave, e os dados não saem do dispositivo. No código, só o provider muda; o useChat continua o mesmo usado com a OpenAI.

Do ponto de vista de custo, é uma jogada curiosa. Tarefas simples, como reformular texto, classificar ou fazer um autocompletar curto, podem ir para o modelo local, sem pagar por cada token. O autor sugere ainda uma abordagem híbrida: usuários sem WebGPU recebem o modelo do servidor, e os demais usam o local. O preço dessa abordagem é o primeiro download, a partir de 400 MB. Depois disso, o modelo é carregado do cache do navegador em um ou dois segundos. Mas modelos compactos como o Llama 3.2 1B, em versão quantizada, são visivelmente mais fracos que os carros-chefe da nuvem, então raciocínios complexos e contextos longos é melhor deixar para o servidor.

Interface, DevTools e Nuxt

A biblioteca tem uma arquitetura híbrida. No npm fica a lógica headless (sem visual pronto): usePromptInput e useAutoScroll. Eles resolvem detalhes chatos: um autoscroll que não incomoda quem está rolando a tela para cima; um Enter que não envia a mensagem durante a digitação em chinês ou japonês; a colagem de imagens da área de transferência e o drag-and-drop de arquivos. Os componentes prontos são copiados para o projeto pelo comando do shadcn-vue, e a partir daí o código é seu. Eles usam os tokens de tema do shadcn, então se adaptam ao restante da interface, inclusive ao tema escuro.

Para depuração, existe o módulo vue-llm/devtools: na aba LLM do Vue DevTools aparecem todos os useChat, os tokens, o tempo até o primeiro token, a velocidade de geração, as chamadas de ferramentas e a linha do tempo das requisições. Sem o plugin, a biblioteca não rastreia nada e não gasta recursos com isso. O módulo do Nuxt é instalado com um único comando, faz auto-import de composables e providers e foi testado no Nuxt 3 e 4.

Limitações e próximos passos

O autor compara o projeto com os AI SDKs prontos e o define como Vue-first. As diferenças são o módulo do Nuxt, os componentes para Generative UI, o DevTools, o provider para modelos no navegador, o adaptador para backends SSE existentes e o suporte a Vue 2.7 nos composables, o que importa para painéis administrativos legados. Ao mesmo tempo, o projeto é jovem e mantido por um único desenvolvedor, então a maturidade do ecossistema ainda não se compara à das alternativas para React. Antes de adotar, vale verificar como seus providers e cenários se comportam sob carga real.

Nos planos estão um cliente MCP para conectar servidores MCP como ferramentas, respostas com citações para RAG e entrada por voz. Para times de Vue que precisam de um chat ou de uma interface agêntica, o sandbox sem chave de API permite avaliar a abordagem em poucos minutos.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Chat em dez linhas e a chave no servidor?

A base é o composable useChat. Ele entrega a resposta do modelo token a token em um estado reativo: mensagens, status, erro, cancelamento, regeneração. As mensagens são compostas de "partes": texto, raciocínio do modelo, chamadas de ferramentas, arquivos, fontes. Por isso, um único template exibe tanto uma resposta comum quanto o raciocínio de Claude ou Qwen3 e uma chamada de ferramenta. A chave de API permanece no servidor. A parte de servidor é um handler comum Request → Response, no padrão da web.

O que se sabe sobre Generative UI e humano no circuito?

A parte mais interessante é a Generative UI. Quando o modelo chama uma ferramenta, é possível mostrar um componente Vue seu no lugar do texto. Os argumentos chegam ao componente em streaming, conforme são gerados: o cartão de clima começa a ser preenchido enquanto o modelo ainda termina de escrever a chamada. Para isso funcionar, o autor precisou escrever um parser de JSON "incompleto". A string {"city":"Mos vira { city: 'Mos' }, e chaves inacabadas são descartadas até serem completadas.

O que se sabe sobre Modelos no navegador e a economia de tokens?

O provider createWebLLM executa modelos abertos (Llama 3.2, Qwen, SmolLM, Phi) em WebGPU por meio do WebLLM. Não é preciso servidor nem chave, e os dados não saem do dispositivo. No código, só o provider muda; o useChat continua o mesmo usado com a OpenAI. Do ponto de vista de custo, é uma jogada curiosa. Tarefas simples, como reformular texto, classificar ou fazer um autocompletar curto, podem ir para o modelo local, sem pagar por cada token.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…