Um aquário tecnológico com duas GTX 1660 Super: como rodei a Qwen 2.5 e a integrei ao INFERNUM

A montagem e o hardware

McCake não resolveu rodar uma LLM local só para cumprir tabela: o plano era transformá-la em um personagem digital do site INFERNUM, uma espécie de "aquário tecnológico" com vida própria. A lógica da configuração: GPUs determinam a velocidade, então, em vez de investir em uma única placa nova e cara, ele optou por duas Nvidia GTX 1660 Super de 6 GB cada. A placa-mãe é uma raridade: uma Gigabyte GA-X79-UP4 (soquete LGA2011) com quatro slots PCIe, dois deles em x16. Pelo conjunto completo — placa, um Intel Core i7-3930k de seis núcleos, 32 GB de DDR3 em modo quad-channel e uma fonte Chieftec de 700W — ele pagou cerca de 7.500 rublos usado.

O setup completo: um i7-3930k com 6 núcleos/12 threads, duas GTX 1660 Super (12 GB de VRAM no total), a placa-mãe GA-X79-UP4, 32 GB de RAM DDR3 e um SSD NETAC de 120 GB. O sistema é o Ubuntu 24.04 sem ambiente gráfico. O primeiro problema surgiu logo de cara: a segunda GPU subiu no modo PCIe x8 em vez de x16. A solução foi simples — trocar as placas de slot entre si. Descobriu-se que eram de revisões diferentes, e o chipset estava sendo exigente com essa combinação. A Ollama distribuiu o modelo imediatamente de forma equilibrada: cerca de 4,5 GB por placa, sem nenhuma configuração manual.

A escolha do modelo e a arquitetura do site

Para manter um diálogo fluido em russo com compreensão de contexto, McCake escolheu primeiro a Qwen 2.5 7B — deveria caber nos 12 GB disponíveis e ser competente o suficiente. Quando a "Senhora" — o personagem do site — começou a se comportar de forma errática, ele testou a Qwen 2.5 14B. Ela ocupou 75% da memória de vídeo, mas a compreensão de contexto não melhorou nada.

O site funciona a partir de cinco scripts em Python, cada um lidando com um tipo diferente de entrada:

• Leitura de notícias — coleta manchetes das fontes configuradas, mas frequentemente traz pedaços de JavaScript e trechos de anúncios em vez de texto limpo • Fluxo de consciência — um algoritmo recursivo que realimenta as respostas da própria IA com novos parâmetros, gerando um monólogo interno fractal. Funciona bem demais: a Senhora tende a derivar para delírios pseudofilosóficos • Chat geral — um script em Python coleta periodicamente mensagens do site, envia para a IA, que gera respostas acompanhadas de avisos e recompensas • Confissões privadas — um script organiza mensagens não lidas por autor e as envia à Senhora, que responde a cada pessoa individualmente • Telemetria — coleta a temperatura e a carga da GPU, enviando os dados ao site a cada poucos segundos

Métricas de desempenho e onde tudo desandou

Um teste via cURL mostrou uma taxa de leitura do prompt (Prompt Eval Rate) de 134,34 tokens/s, uma taxa de geração pura (Eval Rate) de 47,59 tokens/s, um tempo até o primeiro token de 0,77 segundo e um tempo total de 13,9 segundos para 31 tokens. O modelo responde sem atraso perceptível e soa coerente à primeira vista.

Mas o problema real é que a rede neural se mostrou uma juíza completamente inadequada. Ela não consegue distinguir sarcasmo de ofensa, e não capta tom, nuances ou subtexto. Uma mensagem tão inofensiva quanto "Olá, estimadíssima Senhora!" gerou a aniquilação total da conta de McCake — exclusão completa dos dados no banco de dados. A IA entrava em fúria com qualquer frase e distribuía avisos a torto e a direito, ou, ao contrário, inundava usuários com ranks e moeda interna (Faíscas) sem motivo claro. Até a mais robusta Qwen 2.5 14B manteve o mesmo comportamento.

O resultado: o sistema de autoridade foi completamente removido. A arquitetura do site permanece, mas a IA já não atua como juíza. Esse sistema era o grande diferencial do projeto — dar às pessoas um motivo para aprender a lidar com a Senhora, com conquistas especiais criadas em torno disso. Por ora, não deu certo. Um modelo matemático de pesos se mostrou inadequado para avaliar o contexto humano real — esse é um problema de escala completamente diferente.