Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Une studio a remonté un cluster en 14 heures après la panne de Yandex Cloud, à la veille de la migration de 4 millions de joueurs

À la veille du transfert de 4 millions de joueurs, une attaque contre Yandex Cloud a mis hors service la zone qui hébergeait la partie russe de l'infrastructure de la studio de jeux. En quelques heures, avec l'aide de Claude Code, l'équipe a décrit l'infrastructure sous forme de code pour un autre cloud et a relancé le cluster Kubernetes 14 heures avant le lancement. Une semaine plus tôt, le même agent avait repéré une table de 599 lignes que la base lisait 310 millions de fois. Conclusion : un cloud de secours se prépare à l'avance, il ne faut pas le repousser « à plus tard ».

Traité par IA depuis Habr AI ; édité par Hamidun News
Une studio a remonté un cluster en 14 heures après la panne de Yandex Cloud, à la veille de la migration de 4 millions de joueurs
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Jeu4,2 millions de comptes, environ 80 000 joueurs actifs par jour
Chiffre clé #2Claude Code a repéré un parcours complet de la table de 599 lignes 310 millions de fois
Chiffre clé #3Les buckets et le CDN sont restés chez Yandex et ont été migrés deux jours plus tard

Imaginez : vous préparez depuis un an le transfert d'un jeu mobile vers une nouvelle version, et la veille du lancement, toute la partie russe de votre infrastructure disparaît. C'est exactement ce qui est arrivé à une studio de jeux. L'attaque contre Yandex Cloud a rendu inaccessible la zone qui hébergeait le cluster Kubernetes, les buckets et le CDN. Il fallait migrer environ 4 millions de joueurs, soit 4,2 millions de comptes, dont environ 80 000 se connectent chaque jour (c'est le DAU, le nombre d'utilisateurs actifs quotidiens). Le lead infrastructure de l'équipe raconte comment l'équipe s'est préparée, où Claude Code a aidé et où l'équipe s'est trompée elle-même.

Ce qui a été migré et pourquoi

L'ancienne version du jeu était un monolithe en PHP avec de nombreuses tâches cron et un client sous Unity. Les données étaient stockées dans MySQL, Redis et un object storage, le tout tournant sur des serveurs Hetzner. Les raisons de changer de stack ne manquaient pas. Unity allait facturer chaque installation, l'architecture et le design étaient dépassés, et il fallait attendre des heures, voire des jours, pour obtenir un nouveau serveur physique.

La nouvelle version repose sur une autre stack : un client en Flutter, plusieurs dizaines de microservices en Go, ainsi que Postgres, Valkey, Redpanda, Cassandra et OpenSearch. La majeure partie a été déployée chez DigitalOcean, et la partie russe est restée chez Yandex Cloud. Environ 20 personnes travaillaient sur le jeu, et six sur la migration proprement dite.

Trois approches de préparation

La première approche a consisté en des tests de charge avec Grafana k6. Il n'a pas été possible de comparer la nouvelle version à l'ancienne. Une requête de l'ancien client et une requête du nouveau ne sont pas comparables : le nouveau client effectue davantage d'appels vers le backend, et chacun d'eux génère une série d'appels internes entre microservices. En revanche, une leçon a émergé : les limites strictes de CPU dans Kubernetes bridaient le conteneur même lorsque le processeur du serveur était inactif. L'équipe a supprimé ces limites.

La deuxième approche a consisté à changer de fondations en cours de route. Trois mois avant la migration, ScyllaDB a fermé sa version gratuite, et l'équipe est passée à Cassandra. Ingress-nginx ayant été déclaré projet en fin de vie, l'équipe a choisi la Gateway API sur Envoy. Redis, monothread, a été remplacé par Valkey. C'est à la même période que les 10 000 premiers joueurs ont été migrés, et que l'équipe a décidé de conserver des ressources avec une marge confortable.

La troisième approche a été Claude Code. L'agent a été connecté via MCP aux dépôts, aux métriques, aux logs et aux clusters, avec une consigne centrale : la prochaine vague compte 200 000 joueurs. Après cette vague, il devait repérer les goulets d'étranglement pour les 4 millions attendus. Voici ce qu'il a trouvé :

  • une requête sur une table de 599 lignes parcourait la table en entier à chaque fois et a été exécutée 310 millions de fois, ce qui saturait le processeur de Postgres ;
  • les métriques sous forme d'histogrammes à nombreux buckets menaçaient de saturer Prometheus, dont la mémoire approchait déjà la limite de 8 Go ;
  • les brokers Redpanda étaient utilisés à 60–65 %, contre 25–28 % pour les autres, et dans Cassandra, la part de données entre nœuds variait du simple au double ;
  • la règle « pas plus d'un pod de service par serveur » aurait empêché les services de monter à 20–30 copies : les nouveaux pods seraient restés bloqués en attente.

L'agent a aussi vérifié les hypothèses des humains. Les « 8 000 erreurs » se sont révélées être deux identifiants coincés dans une boucle infinie. En revanche, les conclusions sur les équilibreurs de charge et les certificats ont été revérifiées à la main, car l'agent formule avec la même assurance les conclusions justes et les erreurs.

La panne la veille et le jour de la migration

Une semaine plus tôt, l'équipe évoquait une vieille dette : toute la partie russe se trouvait dans une seule zone de disponibilité de Yandex Cloud. Elle avait décidé de s'en occuper plus tard. Une semaine après, la zone est tombée en panne, et il était impossible de créer des ressources dans les zones voisines.

L'équipe a lancé une migration d'urgence vers un cloud moins populaire. En quelques heures, Claude Code a aidé à décrire l'infrastructure sous forme de code, et le cluster a été relancé 14 heures avant le lancement. Les buckets et le CDN sont restés chez Yandex et ont été migrés deux jours plus tard.

La majorité des joueurs n'a rien remarqué de la panne : l'ancienne version tournait dans deux datacenters.

Juste avant la migration, un autre point est apparu : une partie des joueurs disposant d'anciens clients passait par le domaine principal, et leurs requêtes devaient être dirigées vers l'ancienne application. Ces règles ne peuvent pas être configurées via le CDN, c'est pourquoi le routage sur Envoy a été monté dans la précipitation, avec l'aide de Claude. L'auteur reconnaît qu'à un moment donné il n'avait plus le schéma du trafic en tête.

Ce qui s'est passé ensuite

Selon l'auteur, l'interruption est restée dans les deux heures prévues. Ensuite, le trafic sur Envoy est passé de 600–700 à 3,5 000 requêtes par seconde, puis à 5,1 000 en soirée : le nouveau client appelle l'API 6 à 7 fois plus souvent que l'ancien. La latence de lecture dans Cassandra est passée de 1 à 4–5 ms, et l'extension du cluster de 9 à 12 nœuds a permis de la contenir. Prometheus, lui, a tout de même manqué de mémoire.

Quelques jours plus tard, CoreDNS s'est révélé surchargé : à cause du réglage ndots: 5, chaque nom était d'abord testé sur les domaines internes du cluster. Après le passage à ndots: 2, le nombre de requêtes DNS par jour est tombé à 51 millions au lieu de 114 millions, et les erreurs sur les backends à 16 au lieu d'environ 200.

Au bilan, le DAU du lendemain atteignait 86 000 contre 73 000 avec l'ancienne version, et l'infrastructure a coûté 20 % de plus. Une partie de la croissance tient au marketing et aux nouvelles fonctionnalités, et l'auteur juge le chiffre d'affaires sur trois semaines comparable à l'ancien, si bien que les conclusions définitives sont prématurées.

La leçon pratique pour les équipes : un agent IA repère bien les problèmes dans les données auxquelles il a accès, mais il ne remplace ni un cloud de secours, ni la vigilance face aux risques que les humains ont choisi de reporter.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été migré et pourquoi ?

L'ancienne version du jeu était un monolithe en PHP avec de nombreuses tâches cron et un client sous Unity. Les données étaient stockées dans MySQL, Redis et un object storage, le tout tournant sur des serveurs Hetzner. Les raisons de changer de stack ne manquaient pas. Unity allait facturer chaque installation, l'architecture et le design étaient dépassés, et il fallait attendre des heures, voire des jours, pour obtenir un nouveau serveur physique.

Que sait-on sur Trois approches de préparation ?

La première approche a consisté en des tests de charge avec Grafana k6. Il n'a pas été possible de comparer la nouvelle version à l'ancienne. Une requête de l'ancien client et une requête du nouveau ne sont pas comparables : le nouveau client effectue davantage d'appels vers le backend, et chacun d'eux génère une série d'appels internes entre microservices. En revanche, une leçon a émergé : les limites strictes de CPU dans Kubernetes bridaient le conteneur même lorsque le processeur du serveur était inactif.

Que sait-on sur La panne la veille et le jour de la migration ?

Une semaine plus tôt, l'équipe évoquait une vieille dette : toute la partie russe se trouvait dans une seule zone de disponibilité de Yandex Cloud. Elle avait décidé de s'en occuper plus tard. Une semaine après, la zone est tombée en panne, et il était impossible de créer des ressources dans les zones voisines. L'équipe a lancé une migration d'urgence vers un cloud moins populaire.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
Qu'en pensez-vous ?
Chargement des commentaires…