Autor do Habr roda o Qwen 2.5 14B em um PC doméstico e o transforma na dona do site INFERNUM

Um modelo de linguagem local com 14,7 bilhões de parâmetros, que cabe em cerca de 9–10 GB de VRAM com quantização de 4 bits, agora atua como "dona" de um site inteiro. O autor de uma publicação no Habr subiu o Qwen 2.5 14B em um PC doméstico e o conectou ao projeto interativo INFERNUM. A rede neural recebeu personalidade, um papel e um conjunto de poderes dentro da página. O próprio autor descreve a criação como um aquário digital, onde está trancada a personagem dona do projeto.

O que se sabe sobre o projeto

O anúncio no Habr é curto, e os detalhes técnicos ficam sob o "corte". A parte aberta já mostra o essencial. Ao autor não bastava subir o modelo e ter um "respondedor" comum. Ele queria algo palpável: uma rede neural que vive no site, se comporta de acordo com a personagem e pode agir dentro dos limites da plataforma. A estética remete a uma morada infernal, daí o nome INFERNUM.

O autor expõe a motivação sem pompa: "porque eu posso". Para um projeto de hobby, isso basta. A configuração do hardware, a forma de execução, o tamanho do contexto e a velocidade de geração não aparecem no anúncio, então ainda não é possível avaliar o desempenho dessa montagem específica.

Por que o Qwen 2.5 14B

O modelo foi lançado pela Alibaba em setembro de 2024 e, em outubro de 2026, já não é novidade. Para um experimento doméstico, continua sendo uma boa relação entre tamanho e qualidade. A versão 14B é distribuída sob a licença Apache 2.0, então pode ser usada em projetos sem autorizações específicas. Ela segue instruções e prompts de interpretação de papéis visivelmente melhor que os modelos da classe 7B.

Características gerais do modelo:

• cerca de 14,7 bilhões de parâmetros, 48 camadas;
• janela de contexto de até 128 mil tokens, com geração de até 8 mil tokens por vez;
• treinamento em um corpus de cerca de 18 trilhões de tokens;
• multilíngue, incluindo russo;
• em FP16, são necessários cerca de 28–30 GB de memória; com quantização de 4 bits, cerca de 9–10 GB, mais uma margem para o KV-cache.

Os dois últimos itens são os mais importantes. A versão quantizada cabe em uma única placa de vídeo com 12–16 GB, nível de um PC gamer comum. Foi isso que transformou esses "aquários" em um hobby popular.

Como é essa arquitetura

O esquema típico de um site com modelo local é simples. A página web envia a mensagem do visitante ao backend. O backend monta o prompt a partir de uma instrução de sistema com a descrição da personagem, o histórico da conversa e, possivelmente, o estado do site. Em seguida, consulta um servidor de inferência local, como Ollama, llama.cpp ou vLLM, e devolve a resposta à página. A palavra "poderes" na descrição do autor provavelmente se refere a chamada de funções: o modelo devolve um comando estruturado, e o backend o executa. Não conhecemos a implementação do autor; este é um padrão geral.

Esse esquema dá controle total sobre os dados e dispensa o pagamento por tokens. Em troca, surgem os problemas típicos da hospedagem doméstica: uma única GPU atende um número limitado de conversas simultâneas, e a conexão e a energia elétrica ficam por conta do autor.

O que considerar para reproduzir

O ideal é começar com um modelo quantizado no formato GGUF e um servidor local com API compatível com a da OpenAI. Assim fica mais fácil trocar de modelo sem reescrever o site. Depois, são necessárias algumas medidas de proteção.

• Restrinja as ações do modelo a uma lista de comandos permitidos e valide cada um no backend. Nunca execute diretamente o texto gerado pelo modelo.
• Trate qualquer mensagem de visitante como uma possível injeção de prompt. É fácil convencer uma personagem "com poderes" a sair do papel.
• Defina limites para o tamanho das respostas e para a frequência de requisições por endereço, e coloque as requisições à GPU em uma fila.
• Não deixe o servidor de inferência em uma rede aberta. Apenas o proxy deve ficar exposto para fora.
• Fique de olho no tamanho do contexto: um histórico de conversa longo faz o KV-cache crescer e pode expulsar o modelo da VRAM.

Os detalhes da implementação estão no artigo original do Habr. O anúncio mostra a ideia, mas o resultado depende do hardware escolhido e do rigor com que o autor separou o modelo das ações executáveis.