Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarHabr AI→ original

La biblioteca vue-llm lleva un chat de IA a Vue directamente en el navegador: el modelo pesa desde 400 MB

Las herramientas listas para crear chats de IA suelen estar escritas para React, así que en Vue y Nuxt había que montar a mano el streaming de la respuesta y las llamadas a herramientas. La biblioteca vue-llm incluye para ello el composable useChat, que funciona con OpenAI, Anthropic, Gemini y Ollama. También tiene un modo sin servidor: el modelo se ejecuta en el navegador, en la tarjeta gráfica, a través de WebGPU. La primera carga requiere desde 400 MB y después el modelo se toma de la caché en uno o dos segundos. Para los equipos que usan Vue, es una base lista en lugar de una solución propia.

Procesado por IA desde Habr AI; editado por Hamidun News
La biblioteca vue-llm lleva un chat de IA a Vue directamente en el navegador: el modelo pesa desde 400 MB
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Licencia MIT, versión 1.3; en tiempo de ejecución solo depende de Vue
Dato clave #2La clave de API se queda en el servidor; el ejemplo incluye un límite de 30 solicitudes por minuto
Dato clave #3La tarjeta de respuesta se rellena mientras el modelo todavía termina de escribir la llamada

Si has desarrollado una función de IA con Vue (un framework de frontend muy popular) o con Nuxt (su extensión para sitios completos), seguramente te has topado con el mismo problema: casi todas las herramientas listas para chats con modelos de lenguaje están escritas para React. En Vue hay que adaptarlas o escribir a mano el streaming (la salida de la respuesta según se genera, en lugar de de golpe), las llamadas a herramientas y el estado de la conversación. El desarrollador ha publicado la biblioteca de código abierto vue-llm, que se encarga de esa rutina para Vue 3, Nuxt e incluso Vue 2.

7. El escenario más llamativo: un modelo pequeño se ejecuta directamente en el navegador del usuario, en su tarjeta gráfica, a través de WebGPU. Sin servidor ni clave de API, pero con una descarga única del modelo de desde 400 MB.

La biblioteca se distribuye bajo licencia MIT, su versión actual es la 1.3 y, en tiempo de ejecución, no depende de nada más que de Vue.

Un chat en diez líneas y la clave en el servidor

El núcleo es el composable useChat. Vuelca la respuesta del modelo token a token en un estado reactivo: mensajes, estado, errores, cancelación y regeneración. Los mensajes se componen de "partes": texto, razonamiento del modelo, llamadas a herramientas, archivos y fuentes. Por eso una misma plantilla muestra tanto una respuesta normal como el razonamiento de Claude o Qwen3 y una llamada a una herramienta.

La clave de API se queda en el servidor. La parte del servidor es un manejador Request → Response estándar de la web. Funciona en Nuxt/Nitro, Node, Bun, Deno y en runtimes edge. En el ejemplo, el autor activa también un límite: 30 solicitudes por minuto. En producción es un detalle útil: sin él, un chat público se convierte rápidamente en acceso gratuito de terceros a tu factura de tokens.

De serie se admiten OpenAI y cualquier API compatible con OpenAI, Anthropic, Google Gemini y Ollama. Si ya tienes tu propio backend con streaming, createSSEProvider lo conecta a useChat. Describes cómo se convierten tus eventos SSE en fragmentos de respuesta, y el resto funciona igual.

Generative UI y humano en el circuito

La parte más interesante es la Generative UI. Cuando el modelo llama a una herramienta, en lugar de texto puedes mostrar tu propio componente de Vue. Los argumentos se transmiten al componente según se generan: una tarjeta del tiempo empieza a rellenarse aunque el modelo aún esté terminando la llamada. Para lograrlo, el autor tuvo que escribir un analizador de JSON incompleto. La cadena {"city":"Mos se convierte en { city: 'Mos' }, y las claves sin terminar se descartan hasta que se completan.

Una herramienta con una función execute se ejecuta sola. Una herramienta sin ella pausa el chat y espera la respuesta de la interfaz. Así se implementa el esquema human-in-the-loop, en el que decide una persona. Por ejemplo, el modelo propone reservar una mesa, el usuario pulsa "Confirmar" en la tarjeta, addToolResult transmite la respuesta y la conversación continúa. Para acciones irreversibles (pagos, envío de correos, borrados), esto es más fiable que pedirle al modelo en el prompt que "pida permiso".

Modelos en el navegador y economía de tokens

El proveedor createWebLLM ejecuta modelos abiertos (Llama 3.2, Qwen, SmolLM, Phi) sobre WebGPU mediante WebLLM. No hacen falta servidor ni clave, y los datos no salen del dispositivo. En el código solo cambia el proveedor; useChat sigue siendo el mismo que con OpenAI.

En cuanto a costes, es un enfoque curioso. Las tareas simples, como reformular, clasificar o autocompletar frases cortas, pueden delegarse en el modelo local sin pagar por cada token. El autor también propone un esquema híbrido: a los usuarios sin WebGPU, un modelo de servidor; al resto, el local. El precio de este enfoque es la primera descarga, de desde 400 MB. Después, el modelo se carga desde la caché del navegador en uno o dos segundos. Pero los modelos compactos como Llama 3.2 1B, en versión cuantizada, son claramente más débiles que los buques insignia en la nube, así que los razonamientos complejos y los contextos largos conviene dejarlos en el servidor.

Interfaz, DevTools y Nuxt

La biblioteca tiene un diseño híbrido. En npm se publica la lógica headless (sin aspecto visual predefinido): usePromptInput y useAutoScroll. Resuelven los detalles incómodos: un autoscroll que no molesta al usuario que se desplaza hacia arriba; Enter que no envía el mensaje mientras se escribe en chino o japonés; el pegado de imágenes desde el portapapeles y el arrastrar y soltar de archivos. Los componentes listos se copian al proyecto con el comando de shadcn-vue, y a partir de ese momento el código es tuyo. Usan los tokens de tema de shadcn, así que se adaptan al resto de la interfaz, incluido el modo oscuro.

Para depurar, existe el módulo vue-llm/devtools: en la pestaña LLM de Vue DevTools se ven todos los useChat, los tokens, el tiempo hasta el primer token, la velocidad de generación, las llamadas a herramientas y la línea temporal de las solicitudes. Sin el plugin, la biblioteca no traza nada y no gasta recursos en ello. El módulo de Nuxt se instala con un solo comando, hace auto-import de composables y proveedores, y está probado en Nuxt 3 y 4.

Limitaciones y próximos pasos

El autor compara el proyecto con los SDK de IA ya existentes y lo define como Vue-first. Las diferencias son el módulo de Nuxt, los componentes para Generative UI, las DevTools, el proveedor para modelos en el navegador, el adaptador para un backend SSE existente y el soporte de composables en Vue 2.7, algo relevante para paneles de administración heredados. Aun así, el proyecto es joven y lo mantiene un único desarrollador, así que la madurez del ecosistema todavía no se puede comparar con la de las alternativas para React. Antes de adoptarlo conviene comprobar cómo se comportan tus proveedores y tus escenarios con carga real.

Entre los planes figuran un cliente MCP para conectar servidores MCP como herramientas, respuestas con citas para RAG y entrada de voz. Para los equipos de Vue que necesitan un chat o una interfaz agéntica, el entorno de pruebas sin clave de API permite evaluar el enfoque en unos minutos.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Un chat en diez líneas y la clave en el servidor?

El núcleo es el composable useChat. Vuelca la respuesta del modelo token a token en un estado reactivo: mensajes, estado, errores, cancelación y regeneración. Los mensajes se componen de "partes": texto, razonamiento del modelo, llamadas a herramientas, archivos y fuentes. Por eso una misma plantilla muestra tanto una respuesta normal como el razonamiento de Claude o Qwen3 y una llamada a una herramienta. La clave de API se queda en el servidor.

¿Qué se sabe sobre Generative UI y humano en el circuito?

La parte más interesante es la Generative UI. Cuando el modelo llama a una herramienta, en lugar de texto puedes mostrar tu propio componente de Vue. Los argumentos se transmiten al componente según se generan: una tarjeta del tiempo empieza a rellenarse aunque el modelo aún esté terminando la llamada. Para lograrlo, el autor tuvo que escribir un analizador de JSON incompleto. La cadena {"city":"Mos se convierte en { city: 'Mos' }, y las claves sin terminar se descartan hasta que se completan.

¿Qué se sabe sobre Modelos en el navegador y economía de tokens?

El proveedor createWebLLM ejecuta modelos abiertos (Llama 3.2, Qwen, SmolLM, Phi) sobre WebGPU mediante WebLLM. No hacen falta servidor ni clave, y los datos no salen del dispositivo. En el código solo cambia el proveedor; useChat sigue siendo el mismo que con OpenAI. En cuanto a costes, es un enfoque curioso. Las tareas simples, como reformular, clasificar o autocompletar frases cortas, pueden delegarse en el modelo local sin pagar por cada token.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…