Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

L'auteur de ChatCourt, tribunal fictif fondé sur l'IA, réduit la consommation de tokens de GigaChat de 1,7 à 0,55 million par simulation

ChatCourt est un simulateur de tribunal d'arbitrage où le juge et l'adversaire sont joués par des réseaux de neurones, tandis que l'étudiant incarne le demandeur ou le défendeur. Après le passage de Claude Sonnet à GigaChat Ultra, le modèle est entré en boucle, et une simulation complète consommait jusqu'à 1,7 million de tokens. Un menu restreint de 1 à 3 actions combiné au cache du fournisseur a ramené la consommation à 0,55 million de tokens, avec 62 appels au lieu de 100. Un modèle faible dans l'appel de fonctions gagne à être maintenu dans un cadre strict.

Traité par IA depuis Habr AI ; édité par Hamidun News
L'auteur de ChatCourt, tribunal fictif fondé sur l'IA, réduit la consommation de tokens de GigaChat de 1,7 à 0,55 million par simulation
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Cacheen-tête X-Session-ID et sections immuables du prompt placées en début de requête
Chiffre clé #245 codes de refus assortis d'exemples de correction ont mis fin à la répétition des phrases
Réponses vides du modèle30 % lors du premier essai, 0 % dans la dernière version

ChatCourt est un simulateur pédagogique de tribunal d'arbitrage. L'étudiant joue le demandeur ou le défendeur, tandis que le juge, l'adversaire et le conseiller sont incarnés par des réseaux de neurones. Les tokens sont les unités de texte facturées lors de chaque appel à un modèle.

L'auteur du projet a construit le simulateur sur Claude Sonnet, mais la mise en production exige le modèle russe GigaChat Ultra, et la migration a tout cassé. Une simulation complète sur Sonnet consommait 1,2 à 1,7 million de tokens en entrée ; sur GigaChat, après les corrections, elle en a consommé environ 0,55 million, avec 62 appels au modèle au lieu de 100 au pic. Pour ceux qui conçoivent des agents sur un modèle peu adapté à cet usage, ce retour d'expérience fournit un ensemble de leçons directement applicables.

Un simulateur et pourquoi il tourne sur un modèle russe

L'idée vient d'une expérience du MIT : sept équipes d'étudiants ont passé un mois à construire un petit moteur à réaction avec l'aide de l'IA. Deux équipes sont allées jusqu'aux essais, et un seul moteur a fonctionné. Les réseaux de neurones hallucinaient et approuvaient systématiquement, tandis que les équipes gagnantes se méfiaient des suggestions et s'appuyaient sur leurs propres connaissances. L'auteur a voulu placer l'étudiant dans la même situation.

L'étudiant choisit son camp et traverse six étapes : préparation, audience préliminaire, audience, preuves et requêtes, plaidoiries, décision. La décision est rendue par le juge IA. Il n'existe pas de bonne réponse : chaque affaire évolue différemment, et l'enseignant évalue le déroulement de la procédure, pas son issue.

Le modèle doit être russe : les universités sont soumises à des restrictions sur les services d'IA étrangers, et les modèles chinois y sont également soumis. Techniquement, il s'agit d'un monolithe synchrone sur FastAPI avec SQLite, ce qui suffit pour un pilote de quelques étudiants. Le principe est le suivant : le code décide de ce qui est admissible, le modèle décide de la suite. L'auteur a écarté le framework LangGraph : il aurait fallu écrire soi-même l'isolation des rôles, car le juge ne doit pas voir la stratégie des parties. Et un checkpointer commun aurait stocké les textes des étudiants avec le reste des données.

Compatibilité et boucles

Les tests ont été menés sur Sonnet, et l'auteur pensait que le format d'appel de fonctions était identique pour GigaChat. Or Sonnet appelle plusieurs fonctions en une seule étape, alors que GigaChat n'en appelle qu'une. Le moteur était presque incompatible avec le nouveau modèle, et il a été réécrit.

Ensuite, le modèle s'est mis à répéter la même phrase. Lorsque le moteur rejette une réponse, il renvoie le même prompt avec une mention de l'erreur. Parfois le prompt repart à l'identique, et avec une température proche de zéro le modèle choisit à chaque fois le mot le plus probable. GigaChat n'accepte pas une température nulle. Les températures ont donc été réglées à la main : 0,2 pour le juge, 0,3 pour l'IA adverse et les suggestions, 0,01 pour les vérifications techniques. Il est impossible de monter plus haut : le modèle cesse alors de suivre les instructions et hallucine.

Le mode « pause » a protégé des boucles infinies : le moteur détecte les répétitions et arrête le processus. La cause elle-même a été corrigée en modifiant le prompt. On y a ajouté une explication de ce qui ne va pas et de ce qu'il faut faire à la place, ainsi que 45 codes de refus, chacun avec un exemple de correction. On a aussi ajouté un journal du déroulement qui conserve les propositions déjà rejetées. Si une réponse est coupée par la limite de longueur, la nouvelle tentative porte la mention « écris plus court » et une limite de 4 000 tokens.

Cela n'a pas suffi : dans une simulation, le juge a posé sept fois de suite une question au défendeur alors que la parole était à l'étudiant. On a alors introduit le mode « guidé ». Le moteur choisit lui-même le type d'étape et propose au modèle entre une et trois actions. Une action rejetée pour répétition disparaît du menu jusqu'à la fin du tour. Si la parole est à l'étudiant, le juge ne peut interroger que lui.

Mémoire, cache et économie finale

Le modèle n'a pas de mémoire propre. Avant chaque appel, le moteur reconstitue pour chaque rôle une « table » en sept sections : position du rôle, inventaire du dossier, procès-verbaux des audiences précédentes, jusqu'à 15 notes du rôle, section de travail, 10 à 15 dernières répliques et journal du déroulement. Après l'appel, il ne reste rien.

Le cache côté fournisseur a permis d'économiser une part notable du budget. Un en-tête X-Session-ID, un hachage de la paire « tentative et rôle », a été ajouté à chaque appel. Sans lui, le cache fonctionnait presque jamais. Les sections immuables ont été placées au début de la requête, celles qui changent à la fin. Sur un échantillon de 25 981 tokens en entrée, 25 920 ont été servis depuis le cache. La part du cache est passée dans certains cas d'environ 8 % à 44 %, et les tokens mis en cache sont facturés moins cher.

Bilan d'une simulation complète : environ 0,55 million de tokens, dont 0,39 million facturés et 0,17 million issus du cache (en moyenne 30 %). Une simulation dure 7,5 minutes sans pauses. La part des réponses vides, sur quatre versions, est passée de 30 % à 21 %, puis à 12,5 %, et enfin à 0 %.

Ce que le simulateur ne sait pas encore faire

Le juge et l'adversaire s'appuient sur les pièces du dossier, le scénario et les connaissances propres du modèle. Il n'existe pas de couche RAG avec une base de jurisprudence et de législation à jour, alors que les équivalents étrangers en disposent. Le risque d'erreurs du juge IA sur le fond demeure. Un bêta-test avec des étudiants est en cours ; il n'existe pas encore de résultats.

Conclusion pratique : ne laissez pas un modèle faible dans l'appel de fonctions choisir librement ses actions, limitez le menu des actions et renvoyez les erreurs accompagnées d'un exemple précis de correction. Placez les parties immuables du prompt en début de requête pour que le cache fonctionne, et détectez les répétitions côté code.

Dossier

Questions clés sur cet article

Que sait-on sur Un simulateur et pourquoi il tourne sur un modèle russe ?

L'idée vient d'une expérience du MIT : sept équipes d'étudiants ont passé un mois à construire un petit moteur à réaction avec l'aide de l'IA. Deux équipes sont allées jusqu'aux essais, et un seul moteur a fonctionné. Les réseaux de neurones hallucinaient et approuvaient systématiquement, tandis que les équipes gagnantes se méfiaient des suggestions et s'appuyaient sur leurs propres connaissances. L'auteur a voulu placer l'étudiant dans la même situation.

Que sait-on sur Compatibilité et boucles ?

Les tests ont été menés sur Sonnet, et l'auteur pensait que le format d'appel de fonctions était identique pour GigaChat. Or Sonnet appelle plusieurs fonctions en une seule étape, alors que GigaChat n'en appelle qu'une. Le moteur était presque incompatible avec le nouveau modèle, et il a été réécrit. Ensuite, le modèle s'est mis à répéter la même phrase. Lorsque le moteur rejette une réponse, il renvoie le même prompt avec une mention de l'erreur.

Que sait-on sur Mémoire, cache et économie finale ?

Le modèle n'a pas de mémoire propre. Avant chaque appel, le moteur reconstitue pour chaque rôle une « table » en sept sections : position du rôle, inventaire du dossier, procès-verbaux des audiences précédentes, jusqu'à 15 notes du rôle, section de travail, 10 à 15 dernières répliques et journal du déroulement. Après l'appel, il ne reste rien. Le cache côté fournisseur a permis d'économiser une part notable du budget.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…