Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Студия за 14 часов подняла кластер после падения Yandex Cloud перед миграцией 4 млн игроков

За сутки до переноса 4 млн игроков игровой студии атака на Yandex Cloud вывела из строя зону с её российской частью. Команда с помощью Claude Code за несколько часов описала инфраструктуру для другого облака и подняла Kubernetes-кластер за 14 часов до старта. Неделей раньше тот же агент нашёл таблицу на 599 строк, которую база читала 310 млн раз. Вывод: резервное облако лучше готовить заранее, а не откладывать «на потом».

AI-обработка оригинала Habr AI; редакция Hamidun News
Студия за 14 часов подняла кластер после падения Yandex Cloud перед миграцией 4 млн игроков
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Игра4,2 млн аккаунтов, около 80 тысяч активных игроков в сутки
Ключевой факт #2Claude Code нашёл сканирование таблицы из 599 строк 310 млн раз
Ключевой факт #3Бакеты и CDN остались в Yandex и переехали через два дня

Представьте: вы год готовите переезд мобильной игры на новую версию, и вечером накануне старта пропадает вся российская часть вашей инфраструктуры. Именно так вышло у одной игровой студии. Атака на Yandex Cloud сделала недоступной зону, где жили Kubernetes-кластер, бакеты и CDN. Переносить надо было около 4 млн игроков, то есть 4,2 млн аккаунтов, из которых в сутки заходят примерно 80 тысяч (это и есть DAU, число активных пользователей за день). Тимлид инфраструктуры рассказал, как команда готовилась, где помог Claude Code и где ошиблись сами.

Что переезжало и зачем

Старая версия игры была монолитом на PHP с множеством cron-задач и клиентом на Unity. Данные лежали в MySQL, Redis и object storage, а всё крутилось на серверах Hetzner. Причин менять стек набралось много. Unity собиралась брать плату за каждую установку, архитектура и дизайн устарели, а новый физический сервер приходилось ждать часами или днями.

Новая версия построена на другом стеке: клиент на Flutter, несколько десятков микросервисов на Go, а также Postgres, Valkey, Redpanda, Cassandra и OpenSearch. Основную часть разместили в DigitalOcean, российскую оставили в Yandex Cloud. Над игрой работали около 20 человек, над самой миграцией шестеро.

Три подхода к подготовке

Первый подход — нагрузочные тесты в Grafana k6. Сравнить новую версию со старой не вышло. Один запрос старого клиента и один запрос нового несопоставимы: новый клиент делает больше обращений к бэкенду, а каждое из них порождает пачку внутренних вызовов между микросервисами. Зато нашёлся урок: жёсткие лимиты на CPU в Kubernetes режут контейнер, даже когда процессор на сервере простаивает. Лимиты команда убрала.

Второй подход — смена фундамента на ходу. За три месяца до миграции ScyllaDB закрыла бесплатную версию, и команда ушла на Cassandra. Ingress-nginx объявили завершённым проектом, поэтому выбрали Gateway API на Envoy. Однопоточный Redis заменили на Valkey. Тогда же перенесли первые 10 тысяч игроков и решили держать ресурсы с запасом.

Третий подход — Claude Code. Агента подключили через MCP к репозиториям, метрикам, логам и кластерам и дали главную вводную: следующая волна — 200 тысяч игроков. После этой волны он искал узкие места на будущие 4 млн. Вот что нашёл:

  • запрос к таблице из 599 строк каждый раз сканировал её целиком и сработал 310 млн раз, из-за этого Postgres грузил процессор;
  • метрики в виде гистограмм с множеством корзин грозили задушить Prometheus, у которого память уже подходила к лимиту в 8 ГБ;
  • брокеры Redpanda были заняты на 60–65% против 25–28% у остальных, а в Cassandra доли данных на узлах отличались вдвое;
  • правило «не больше одного пода сервиса на сервер» не дало бы сервисам вырасти до 20–30 копий: новые поды зависли бы в ожидании.

Агент проверял и гипотезы людей. «8 тысяч ошибок» оказались двумя id, застрявшими в бесконечном повторе. Но выводы по балансировщикам и сертификатам команда перепроверяла руками, потому что агент уверенно формулирует и верные, и неверные заключения.

Авария за сутки и день миграции

За неделю до этого команда обсуждала старый долг: вся российская часть сидит в одной зоне доступности Yandex Cloud. Решили заняться потом. Через неделю зона вышла из строя, а создать ресурсы в соседних зонах было нельзя. Команда начала экстренный переезд в менее популярное облако. Claude Code помог за считанные часы описать инфраструктуру кодом, и кластер подняли за 14 часов до старта. Бакеты и CDN остались в Yandex и переехали через два дня. Основная часть игроков аварию не заметила: старая версия работала в двух дата-центрах.

Перед самой миграцией выяснилось ещё одно: часть игроков со старыми клиентами ходила на главный домен, и их запросы нужно было вести на старое приложение. Через CDN такие правила не настроить, поэтому маршрутизацию на Envoy собирали в спешке вместе с Claude. Автор признаётся, что в какой-то момент перестал держать схему трафика в голове.

Что случилось после

По данным автора, простой уложился в плановые два часа. Затем трафик на Envoy вырос с 600–700 до 3,5 тысячи запросов в секунду, а к вечеру до 5,1 тысячи: новый клиент ходит в API в 6–7 раз чаще старого. Задержка чтения в Cassandra выросла с 1 до 4–5 мс, помогло расширение кластера с 9 до 12 узлов. У Prometheus всё же закончилась память.

Через несколько дней обнаружился перегруженный CoreDNS: из-за настройки ndots: 5 каждое имя сначала перебиралось по внутренним доменам кластера. После перехода на ndots: 2 DNS-запросов в сутки стало 51 млн вместо 114 млн, а ошибок на бэкендах — 16 вместо примерно 200.

Итог: DAU на следующий день составил 86 тысяч против 73 тысяч на старой версии, инфраструктура подорожала на 20%. Часть роста дали маркетинг и новые функции, а выручку за три недели автор называет сопоставимой с прежней, так что окончательные выводы делать рано.

Практический урок для команд: ИИ-агент хорошо ищет проблемы в данных, к которым у него есть доступ, но не заменяет резервное облако и не видит рисков, которые люди сами решили отложить.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что переезжало и зачем?

Старая версия игры была монолитом на PHP с множеством cron-задач и клиентом на Unity. Данные лежали в MySQL, Redis и object storage, а всё крутилось на серверах Hetzner. Причин менять стек набралось много. Unity собиралась брать плату за каждую установку, архитектура и дизайн устарели, а новый физический сервер приходилось ждать часами или днями. Новая версия построена на другом стеке: клиент на Flutter, несколько десятков микросервисов на Go, а также Postgres, Valkey, Redpanda, Cassandra и OpenSearch.

Что известно по теме: три подхода к подготовке?

Первый подход — нагрузочные тесты в Grafana k6. Сравнить новую версию со старой не вышло. Один запрос старого клиента и один запрос нового несопоставимы: новый клиент делает больше обращений к бэкенду, а каждое из них порождает пачку внутренних вызовов между микросервисами. Зато нашёлся урок: жёсткие лимиты на CPU в Kubernetes режут контейнер, даже когда процессор на сервере простаивает. Лимиты команда убрала. Второй подход — смена фундамента на ходу.

Что известно по теме: авария за сутки и день миграции?

За неделю до этого команда обсуждала старый долг: вся российская часть сидит в одной зоне доступности Yandex Cloud. Решили заняться потом. Через неделю зона вышла из строя, а создать ресурсы в соседних зонах было нельзя. Команда начала экстренный переезд в менее популярное облако. Claude Code помог за считанные часы описать инфраструктуру кодом, и кластер подняли за 14 часов до старта. Бакеты и CDN остались в Yandex и переехали через два дня.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…