Un acuario tecnológico con dos GTX 1660 Super: cómo puse en marcha Qwen 2.5 y la integré en INFERNUM

El montaje y el hardware

McCake no se propuso ejecutar una LLM local solo por hacerlo: la idea era convertirla en un personaje digital del sitio INFERNUM, una especie de "acuario tecnológico" con vida propia. La lógica de la configuración: las GPU determinan la velocidad, así que en lugar de pagar por una sola tarjeta nueva y cara, optó por dos Nvidia GTX 1660 Super de 6 GB cada una. La placa base es toda una rareza: una Gigabyte GA-X79-UP4 (socket LGA2011) con cuatro ranuras PCIe, dos de ellas a x16.

Por el conjunto —la placa, un Intel Core i7-3930k de seis núcleos, 32 GB de DDR3 en modo cuádruple canal y una fuente Chieftec de 700W— pagó alrededor de 7.500 rublos de segunda mano.

El equipo completo: un i7-3930k de 6 núcleos/12 hilos, dos GTX 1660 Super (12 GB de VRAM en total), la placa GA-X79-UP4, 32 GB de RAM DDR3 y un SSD NETAC de 120 GB. El sistema operativo es Ubuntu 24.04 sin entorno de escritorio. El primer problema: la segunda tarjeta arrancó en modo PCIe x8 en lugar de x16. Se solucionó simplemente intercambiando las tarjetas de ranura; resultó que eran de revisiones distintas y el chipset se mostraba caprichoso con esa combinación. Ollama repartió el modelo de inmediato y a partes iguales: unos 4,5 GB por tarjeta, sin ninguna configuración manual.

La elección del modelo y la arquitectura del sitio

Para mantener un diálogo fluido en ruso con comprensión del contexto, McCake eligió primero Qwen 2.5 7B: debía encajar en los 12 GB disponibles y ser razonablemente competente. Cuando la "Señora" —el personaje del sitio— empezó a comportarse de forma errática, probó con Qwen 2.5 14B. Ocupaba el 75% de la memoria de vídeo, pero la comprensión contextual no mejoró en absoluto.

El sitio funciona gracias a cinco scripts de Python, cada uno encargado de un tipo distinto de entrada:

• Análisis de noticias — recopila titulares de las fuentes configuradas, pero a menudo arrastra fragmentos de JavaScript y trozos de publicidad en lugar de texto limpio • Flujo de conciencia — un algoritmo recursivo que retroalimenta las respuestas de la IA a sí misma con nuevos parámetros, generando un monólogo interno fractal. Funciona demasiado bien: la Señora tiende a derivar hacia delirios pseudofilosóficos • Chat general — un script de Python recoge periódicamente los mensajes del sitio, los envía a la IA, que genera respuestas acompañadas de avisos y recompensas • Confesiones privadas — un script clasifica los mensajes no leídos por autor y los envía a la Señora, que responde a cada persona de forma individual • Telemetría — recoge la temperatura y la carga de la GPU y la envía al sitio cada pocos segundos

Métricas de rendimiento y dónde falló todo

Una prueba vía cURL arrojó una tasa de lectura del prompt (Prompt Eval Rate) de 134,34 tokens/seg, una tasa de generación pura (Eval Rate) de 47,59 tokens/seg, un tiempo hasta el primer token de 0,77 segundos y un tiempo total de 13,9 segundos para 31 tokens. El modelo responde sin demoras apreciables y suena razonablemente coherente.

Pero el verdadero problema es que la red neuronal resultó ser un juez absolutamente inadecuado. No distingue el sarcasmo del insulto, y no capta el tono, los matices ni el subtexto. Un mensaje tan inocuo como "¡Hola, estimadísima Señora!" desencadenó la aniquilación total de la cuenta de McCake: el borrado completo de sus datos de la base de datos. La IA se encendía ante cualquier frase y repartía avisos a diestro y siniestro, o al contrario, inundaba a los usuarios de rangos y moneda interna (Chispas) sin motivo claro. Incluso la más potente Qwen 2.5 14B repitió el mismo comportamiento.

El resultado: se retiraron por completo las facultades de juicio. La arquitectura del sitio se mantiene, pero la IA ya no actúa como árbitro. Ese sistema era la gran baza del proyecto: dar a la gente un incentivo para aprender a tratar a la Señora, e incluso se habían añadido logros especiales en torno a esa idea. Por ahora no ha funcionado. Un modelo matemático de pesos resultó inadecuado para evaluar el contexto humano real: ese es un problema de otra escala por completo.