Un LLM aux commandes d'un héros de RPG en ligne : Gemini ne tient que un pas de jeu sur dix

La plupart des projets de jeu avec LLM se limitent à la conversation : le réseau de neurones joue un PNJ et répond aux répliques. L'auteur de cette expérience est allé plus loin et a confié au modèle le contrôle d'un personnage dans un RPG en réseau. La différence est fondamentale : on peut dire n'importe quoi, mais on ne peut faire que ce que les règles du monde autorisent.

Comment ça fonctionne

Le jeu est asynchrone : le serveur n'attend pas le joueur, et d'autres personnages et des gobelins circulent autour. Le client repose donc sur trois threads. Le premier reçoit les lignes du serveur et les analyse pour en faire une structure. Le deuxième envoie la requête au LLM et attend la réponse. Le troisième retransmet l'image vers le navigateur afin qu'un humain puisse suivre ce qui se passe.

Le prompt est assemblé à la volée à partir des observations : ce que le personnage voit et entend, le contenu de son inventaire, les ressources nécessaires à son objectif, les actions actuellement disponibles. Au départ, un MASTER-PROMPT statique est envoyé, avec les règles du jeu et les recettes de fabrication. Ensuite, chaque réponse est reliée à la requête suivante par un identifiant, comme la suite d'une conversation.

Le format de réponse est défini par le schéma response_format. L'auteur a comparé deux approches : des champs numériques avec une probabilité pour chaque action, et un unique champ action de type enum. Il n'a pas constaté de différence notable de qualité et a retenu l'enum, plus simple à analyser. Le modèle renvoie en outre un objectif, des plans, des pensées et une réplique facultative.

Là où les limites bloquent tout

Sur l'offre gratuite, les modèles lite sont limités à une requête toutes les 4 secondes. Le pas du serveur est de 0,45 s, si bien que, au mieux, le LLM voit un pas sur dix. La limite quotidienne est de 500 requêtes, après quoi il faut changer de modèle. Il existe aussi une limite moins évidente : la chaîne de réponses se brise avec une erreur de profondeur maximale après environ 100 itérations. Elle dépend peut-être du remplissage du contexte.

La mémoire de l'agent a dû être construite à la main : une mémoire par cellules des objets importants, une mémoire événementielle et une mémoire des actions passées. Une mémoire de la pénurie est apparue à part. Le modèle « met à la fonderie » avec assurance des objets qu'il ne possède pas. Lorsque le parseur détecte l'incohérence, l'objet manquant est enregistré et les actions qui le contredisent sont filtrées.

Ce que cela donne

L'agent marche, ramasse des objets, construit des bâtiments et parfois fond du métal. Un jour, il a coulé une pointe de pioche, l'une des recettes les plus complexes, même si une partie des ingrédients provenait du cadavre d'un nain. Ses répliques sont tout à fait sensées : il commente ses actions et tente de parler aux PNJ.

Mais on ne peut pas qualifier son comportement de raisonnable. L'agent tombe dans des boucles mortes : il fabrique l'inutile, tourne sur place, s'enlise dans des échanges. L'indice « à droite, un mur avec les minéraux nécessaires » peut être ignoré, et il passe son chemin. Son unique transaction réussie avec un nain s'est révélée déficitaire : il a échangé tout son étain contre du minerai de cuivre, du charbon et de l'argile, soit du rare contre du courant.

Enseignements pratiques

Premièrement, la vitesse est décisive. Si la réponse arrivait en une demi-seconde, on pourrait mener le jeu de façon synchrone sans perdre de pas. L'auteur envisage un petit modèle local. Deuxièmement, une liste de coordonnées dans le texte fonctionne mal comme description spatiale. Troisièmement, la conclusion la plus raisonnable est de confier au LLM les décisions de haut niveau et la parole, par exemple « va à la forge », et de laisser le chemin et l'exécution à des algorithmes classiques.

C'est le même schéma que dans les agents produits : le modèle planifie, le code déterministe exécute et vérifie. La limite de l'expérience est qu'il s'agit d'un prototype isolé et naïf, sans métriques, mais cet ensemble de pièges liés aux limites, aux boucles et à la mémoire est familier à quiconque développe des agents.