ИИ в «Финаме»: как выжить при переезде с GPT-3.5 на корпоративный конвейер

Многие до сих пор искренне верят, что внедрение искусственного интеллекта в крупную компанию выглядит как покупка подписки на ChatGPT Plus для каждого отдела. В реальности же «Финам» столкнулся с тем, что энтузиазм одиночек быстро разбивается о суровую корпоративную действительность. Когда ваш прототип на Flutter работает у одного разработчика — это магия и технологический прорыв. Когда ту же технологию нужно раздать тысяче сотрудников финансовой организации, магия превращается в бесконечную череду проблем с безопасностью, стоимостью запросов и качеством ответов. История «Финама» показательна именно тем, что они не побоялись пройти путь от «игрушки» до промышленного решения, наступив на все возможные грабли.

Все началось с классического эксперимента на GPT-3.5. В тот момент казалось, что достаточно просто дать людям доступ к API, и продуктивность взлетит до небес. Однако финансовый сектор — это не песочница. Первая же серьезная проверка показала, что бесконтрольное использование внешних нейросетей несет в себе риски утечки конфиденциальных данных и непредсказуемые расходы. Нельзя просто так отправить данные клиента в облако OpenAI и надеяться на лучшее. Команде пришлось экстренно разрабатывать внутреннюю платформу, которая стала бы «прослойкой» между сотрудником и нейросетью. Эта прослойка взяла на себя функции контроля доступа, логирования каждого запроса и жесткого лимитирования токенов, чтобы бюджет на ИИ не закончился в первую неделю месяца.

Следующим этапом стала борьба с «галлюцинациями». Нейросети — отличные сказочники, но в финансах ложь стоит слишком дорого. Чтобы заставить ИИ говорить правду, «Финам» внедрил технологию RAG (Retrieval-Augmented Generation). Теперь модель не просто выдумывает ответ из головы, а сначала ищет информацию в базе внутренних регламентов и документов компании, и только потом формирует ответ на основе найденных фактов. Это превратило абстрактный чат-бот в эксперта, который знает тонкости внутренних процессов компании. Параллельно с этим начались эксперименты с локальными моделями. Использование собственных мощностей для запуска Llama или других open-source решений стало ответом на требования безопасности: самые чувствительные данные вообще не должны покидать внутренний контур компании.

Масштабирование на 1000+ человек заставило полностью пересмотреть архитектуру. Оказалось, что поддерживать стабильную работу ИИ-сервиса при высокой нагрузке — это отдельная инженерная дисциплина. Пришлось выстраивать сложные системы мониторинга, которые отслеживают не только доступность серверов, но и качество ответов в реальном времени. В «Финаме» поняли: технология — это лишь 20% успеха. Остальные 80% — это кропотливая работа над инфраструктурой, обучение сотрудников правильно формулировать запросы и постоянная адаптация под меняющиеся требования регуляторов. Ирония в том, что чем умнее становится ИИ, тем больше квалифицированных инженеров требуется для его поддержки.

Сейчас платформа в «Финаме» — это не просто чат, а полноценный хаб, где живут и внешние API, и локальные модели, и специализированные агенты для разных департаментов. Это путь компромиссов между скоростью ответа, ценой одного токена и безопасностью данных. Компания наглядно показала, что эра «просто чат-ботов» закончилась, уступив место эре корпоративных ИИ-экосистем. Те, кто сегодня пытается просто «прикрутить API», завтра столкнутся с теми же вызовами масштабирования, которые «Финам» уже преодолел. Вопрос лишь в том, хватит ли у других терпения превратить модный тренд в работающий инструмент.

Главное: Внедрение ИИ в энтерпрайзе — это на 80% строительство инфраструктуры и только на 20% выбор самой модели. Готовы ли вы платить за безопасность своих данных двойную цену в виде инженерных часов?