Одна RTX 3090 закрывает ИИ-хелпдеск офиса на 40 человек и окупается за 5 месяцев

Облачные модели умнее локальных, спорить с этим никто не будет. Но «умнее» — не единственная метрика. Подписки дорожают, лимиты на топовую модель кончаются за полчаса, а данные уезжают к провайдеру. Для бухгалтерии, юристов и всего, где есть персональные данные, это рабочее ограничение, а не абстрактный риск. На открытой лекции 6 ноября технический директор студии «Флаг» Саша Андреев показал, как выглядит трезвый расчёт: когда хватает видеокарты в системнике, а когда нет.

Агент с инструментами вместо «модели, которая всё знает»

Первый кейс — обычный не-IT офис на 40 человек: 1С, бухгалтерия, продажи, руководство. Менеджер дёргает бухгалтера, бухгалтер тонет в выписках, директор хочет список должников «на сейчас». Каждая задача простая, но вместе они создают постоянный шум.

Андреев предлагает не учить модель всему, а дать ей инструменты: доступ к 1С, Битрикс24, ЭДО и внутренним регламентам. Модель не изобретает оплату счёта заново, а вызывает обычный скрипт автоматизации. Такие скрипты тестируются, масштабируются и не «размышляют» в тысячный раз с шансом ошибиться. Схема простая: заявка попадает в очередь (Битрикс, Planfix, Trello — неважно), агент берёт её и выполняет, результат возвращается человеку.

Та же логика работает у него в разработке. Баг или заявка клиента попадает в очередь, локальная Qwen 27B в агентском режиме ходит в git, коммитит, мержит и деплоит. Более сильная облачная модель (чаще Codex) проверяет результат как ревьюер. Цель — готовая работа, а не победа локальной сети над облачной.

Граница тоже понятна. Вызвать уже написанный обработчик 1С локальная модель может. Разрабатывать конфигурацию 1С она не может: контекст агентских сессий там огромный, и облако справляется заметно лучше.

Считаем: карта, токены и квантование

На RTX 3090 Андреев получает порядка 150 токенов в секунду. В офисе на 40 человек одновременно обычно идут 2–3 запроса, остальные в очереди или на обеде. Средний диалог занимает около 20 тыс. токенов, а с заходом в 1С около 60 тыс. Контекст его конфигурации — до 262 тыс. токенов. Для хелпдеска этого достаточно.

Экономика выглядит так. Нагрузка около 2000 вызовов в неделю в облаке обходится примерно в 296 тыс. руб. в год в Yandex AI Studio и в 267 тыс. в Cloud.ru (GigaChat). Свою 3090 Андреев купил за 75 тыс. Сейчас на Avito такие карты стоят около 120 тыс., и при этой цене окупаемость выходит около пяти месяцев. Оговорка важная: это только карта, без остального железа и электричества, а не полная стоимость владения.

Чтобы 27-миллиардная модель поместилась в 24 ГБ видеопамяти, её квантуют. В 16 битах она весит около 54 ГБ, в формате Q4 всего около 13,5 ГБ. На бенчмарках потеря качества порядка полутора пунктов. Аналогия с числом π: для бытовых расчётов хватает 3,14, но округлять до трёх нельзя, качество развалится. Квантуют и KV-кэш, то есть «конспект» контекста. Скорость сильно зависит от движка (llama.cpp, Ollama и специализированных ядер), а бенчмарки обычно меряют на пустом контексте. В бою с забитым окном скорость ниже.

Что делать на практике

Порядок, который советует Андреев: сначала выбрать модель, квант и задачи, затем прогнать ту же модель в облаке у провайдера и только потом покупать железо. Мерило не цена токена и не цена карты, а стоимость успешно выполненной работы. Если нагрузка повторяемая и модель справляется, своё железо окупается. Если нет, нужен гибрид или облако. Дешёвые токены на кривом результате в итоге оказываются самыми дорогими.

Ещё несколько выводов с лекции:

• Начинайте с аналитики: боли, 3–4 приоритетных кейса, пилот, измерение эффекта.
• Гибрид — самый частый вариант. Локалка исполняет, облачная модель или жёсткий скрипт проверяет. Человеческий контроль на 40 сотрудников не масштабируется, проверку нужно автоматизировать.
• Без цифрового фундамента (CRM, таск-трекер, вики, мессенджер) агентам не за что зацепиться.
• Веса модели нельзя «прочитать», поэтому относитесь к ним как к чужому софту и держите вокруг контур контроля.

Ограничения тоже стоит назвать честно. Все цифры относятся к одному сетапу и одной нагрузке, к тому же это личный опыт спикера, а не независимый бенчмарк. Цены на б/у карты растут: летом 2025 года 3090 стоила около 55 тыс. Сам Андреев говорит, что жалеет о покупке только одной карты, а цена такого пути — постоянно разбираться в квантах, моделях и движках. Зато для повторяемой рутины в офисе потребительская видеокарта уже не экзотика, а рабочий инструмент.