Un aquarium techno sur deux GTX 1660 Super : comment j'ai fait tourner Qwen 2.5 et l'ai intégrée à INFERNUM

Montage et matériel

McCake n'a pas voulu faire tourner une LLM locale juste pour la forme, mais en faire un véritable personnage numérique sur le site INFERNUM — un « aquarium techno » doté d'une vie à part entière. Côté configuration : ce sont les cartes graphiques qui déterminent la vitesse, il a donc opté pour deux Nvidia GTX 1660 Super de 6 Go chacune plutôt que pour une seule carte neuve et coûteuse. La carte mère est une Gigabyte GA-X79-UP4 (socket LGA2011), une rareté dotée de quatre slots PCIe, dont deux en x16.

Pour l'ensemble carte mère, Intel Core i7-3930k six cœurs, 32 Go de DDR3 (mode quad-channel) et alimentation Chieftec 700 W, il a dépensé environ 7 500 roubles sur le marché de l'occasion.

Configuration complète : processeur i7-3930k à 6 cœurs/12 threads, deux GTX 1660 Super (12 Go de VRAM au total), carte mère GA-X79-UP4, 32 Go de RAM DDR3, SSD NETAC de 120 Go. Système : Ubuntu 24.04 sans interface graphique. Premier problème rencontré : la seconde carte s'est positionnée en mode PCIe x8 au lieu de x16. La solution a été simple — il a échangé les cartes de place, car elles étaient en fait de révisions différentes et le chipset faisait des siennes. Ollama a immédiatement réparti le modèle de façon égale : environ 4,5 Go sur chaque carte graphique, sans aucun réglage manuel.

Choix du modèle et architecture du site

Pour un dialogue en russe fluide et doté d'une compréhension du contexte, il a choisi Qwen 2.5 7B, censé tenir dans 12 Go et se comporter de manière cohérente. Lorsque la « Maîtresse » (le personnage du site) a commencé à perdre son calme, il a testé Qwen 2.5 14B — qui a occupé 75 % de la VRAM, sans pour autant améliorer la compréhension contextuelle.

Le site fonctionne grâce à cinq scripts Python, chacun traitant un type d'entrée différent :

• Analyse des actualités — récupère les titres depuis des sources configurées, mais extrait souvent des bouts de JavaScript et des fragments publicitaires au lieu de texte propre • Flux de conscience — un algorithme récursif qui réinjecte les réponses de l'IA dans elle-même avec de nouveaux paramètres, créant un monologue intérieur fractal. Il fonctionne même trop bien : la Maîtresse dérive vers un délire pseudo-philosophique • Chat général — Python récupère périodiquement les messages du site, les envoie à l'IA, qui génère des réponses en appliquant avertissements et récompenses • Confessions privées — un script trie les messages non lus par auteur et les envoie à la Maîtresse, qui répond individuellement à chacun • Télémétrie — collecte la température et la charge du GPU, envoyées au site toutes les quelques secondes

Mesures de performance et échecs

Un test via cURL a donné les résultats suivants : vitesse de lecture (Prompt Eval Rate) de 134,34 tokens/s, génération pure (Eval Rate) de 47,59 tokens/s, temps avant le premier token (TTFT) de 0,77 s, et temps total pour 31 tokens de 13,9 s. Le modèle répond sans latence notable et de manière cohérente.

Mais le problème majeur reste le suivant : le réseau de neurones est totalement inadapté au rôle de juge. Il ne fait pas la différence entre le sarcasme et l'insulte, et ne saisit ni le ton, ni les expressions, ni le sous-texte. Sa requête « Bonjour, très chère Maîtresse ! » a reçu en réponse une annihilation complète de son compte — suppression de toutes ses données en base. Elle s'emportait à chaque phrase, distribuait des avertissements à tour de bras, ou à l'inverse inondait les utilisateurs de rangs et de monnaie interne (les Étincelles). Même la version plus puissante, Qwen 2.5 14B, a reproduit exactement le même comportement.

Conclusion : les pouvoirs de l'IA ont été retirés. L'architecture du site reste en place, mais l'IA ne juge plus personne. C'était pourtant l'atout central du projet — donner aux utilisateurs une motivation pour chercher comment apprivoiser la Maîtresse, au point d'avoir même ajouté des succès spécifiques. Pour l'instant, cela n'a pas fonctionné. Le modèle mathématique de pondération s'est révélé incapable d'évaluer le contexte humain vivant — un défi d'une ampleur quasi planétaire.