Un autor de Habr ejecuta Qwen 2.5 14B en un PC doméstico y la convierte en la dueña del sitio INFERNUM

Un modelo de lenguaje local de 14,7 mil millones de parámetros, que con cuantización de 4 bits cabe en unos 9–10 GB de memoria de vídeo, ejerce ahora de «dueña» de todo un sitio web. El autor de una publicación en Habr puso en marcha Qwen 2.5 14B en su PC doméstico y la conectó al proyecto interactivo INFERNUM. La red neuronal recibió un carácter, un papel y un conjunto de atribuciones dentro de la página. El propio autor lo describe como un acuario digital en el que vive encerrado un personaje, la propietaria del proyecto.

Qué se sabe del proyecto

El anuncio en Habr es breve y los detalles técnicos quedan ocultos tras el corte. La parte pública deja ver lo esencial. Al autor no le bastaba con levantar un modelo y tener un simple «contestador». Quería algo tangible: una red neuronal que viva en el sitio, se comporte según su personaje y pueda actuar dentro de los límites de la plataforma. La estética remite a una morada infernal, de ahí el nombre INFERNUM.

El autor formula su motivación sin grandilocuencia: «porque puedo». Para un proyecto de aficionado, es suficiente. El anuncio no indica la configuración del hardware, la forma de ejecución, el tamaño del contexto ni la velocidad de generación, así que por ahora no se puede evaluar el rendimiento de este montaje concreto.

Por qué Qwen 2.5 14B

El modelo lo lanzó Alibaba en septiembre de 2024 y, en el otoño de 2026, ya no es una novedad. Para un experimento doméstico sigue siendo práctico por su relación entre tamaño y calidad. La versión de 14B se distribuye bajo licencia Apache 2.0, de modo que se puede usar en proyectos sin permisos adicionales. Sigue instrucciones y prompts de rol notablemente mejor que los modelos de la clase 7B.

Características generales del modelo:

• unos 14,7 mil millones de parámetros, 48 capas;
• ventana de contexto de hasta 128 mil tokens y generación de hasta 8 mil tokens por vez;
• entrenamiento con un corpus del orden de 18 billones de tokens;
• multilingüe, con soporte para el ruso;
• en FP16 necesita unos 28–30 GB de memoria; con cuantización de 4 bits, unos 9–10 GB más un margen para la KV-cache.

Las dos últimas líneas son las más importantes. La versión cuantizada cabe en una sola tarjeta gráfica de 12–16 GB, el nivel de un PC gaming corriente. Eso es lo que ha convertido estos «acuarios» en un hobby extendido.

Cómo es esta arquitectura

El esquema típico de un sitio con un modelo local es sencillo. La página web envía al backend el mensaje del visitante. El backend construye el prompt a partir de una instrucción de sistema con la descripción del personaje, el historial de la conversación y, posiblemente, el estado del sitio. Después consulta un servidor de inferencia local, por ejemplo Ollama, llama.cpp o vLLM, y devuelve la respuesta a la página. La palabra «atribuciones» en la descripción del autor significa, con toda probabilidad, llamada a funciones: el modelo devuelve un comando estructurado y el backend lo ejecuta. No conocemos la implementación concreta del autor; se trata de un patrón general.

Este esquema da control total sobre los datos y no exige pagar por tokens. A cambio, aparecen los problemas habituales del alojamiento doméstico: una sola GPU atiende un número limitado de diálogos simultáneos, y el autor paga la conexión y la electricidad.

Qué tener en cuenta si quieres replicarlo

Lo recomendable es empezar con un modelo cuantizado en formato GGUF y un servidor local con API compatible con OpenAI. Así resulta más fácil cambiar de modelo sin reescribir el sitio. Después hacen falta varias medidas de protección.

• Limita las acciones del modelo a una lista blanca de comandos y valida cada una en el backend. No se debe ejecutar directamente el texto del modelo.
• Trata cualquier mensaje del visitante como una posible inyección de prompt. A un personaje «con atribuciones» es fácil convencerlo de que rompa su papel.
• Establece límites a la longitud de las respuestas y a la frecuencia de peticiones desde una misma dirección, y pasa las peticiones a la GPU por una cola.
• No expongas el servidor de inferencia a una red abierta. Hacia fuera solo debe dar la cara un proxy.
• Vigila el tamaño del contexto: un historial de diálogo largo hace crecer la KV-cache y puede expulsar al modelo de la memoria de vídeo.

Para los detalles de implementación conviene acudir al artículo original en Habr. El anuncio muestra la idea; que funcione o no depende del hardware elegido y de lo estrictamente que el autor haya separado el modelo de las acciones ejecutables.