Т-Банк заменил рой LLM одной 32B-моделью и удешевил запросы в 2,8–3,9 раза

Крупный бизнес, которому нельзя отправлять данные во внешние облака, упирается в простую арифметику: каждая узкая нейросеть для отдельной задачи занимает дефицитные GPU. Исследователи Т-Банка предложили два способа сократить этот счет и описали их на конференции уровня A* EMNLP 2026 в Будапеште. Одна модель на 32 млрд параметров взяла на себя запросы более 200 внутренних сервисов банка и половину трафика его LLM-платформы. Обработка при этом стала в 2,8–3,9 раза дешевле, чем на Qwen3-235B, а в отдельных сервисах экономия достигла 9 раз.

Один универсал вместо роя специалистов

Типичная картина в защищенном контуре выглядит так: для следования инструкциям своя модель, для вызова функций другая, для корпоративных сценариев третья. Каждую нужно держать в памяти, масштабировать и обновлять. Команда Т-Банка пошла другим путем и впервые описала воспроизводимую методику постобучения русскоязычных LLM с агентскими навыками.

Схема состоит из трех шагов. Сначала Qwen3-32B дообучили на смеси корпоративных и открытых данных. Затем применили обучение с подкреплением по трем направлениям: следование инструкциям, вызов функций и корпоративные задачи. В итоге получились специализированные варианты, которые объединили в одну модель методом SLERP, то есть сферической интерполяцией весов. Слияние позволяет не гонять три отдельные сети на инференсе, а держать одну.

Компактная модель обошла гиганта

Сравнивали с Qwen3-235B, которая примерно в семь раз тяжелее. Для банка важна не только цена, но и качество на собственных задачах, и здесь 32B-модель оказалась впереди.

• Корпоративные тесты: 69,6 балла против 65,8 у Qwen3-235B.
• Следование инструкциям: 0,85 против 0,83.
• Вызов функций: 0,79 против 0,77.
• Стоимость обработки запросов: ниже в 2,8–3,9 раза, в отдельных сервисах до 9 раз.
• Нагрузка: более 200 внутренних сервисов и около половины трафика LLM-платформы банка.

Разрыв в метриках небольшой, но направление важно. Модель, заточенная под конкретную среду, на ее же задачах не уступает универсальному гиганту, а потребляет заметно меньше железа.

Разбор PDF на одной H100

Вторая работа посвящена оцифровке бумажных документов. Исследователи собрали пайплайн отбора сложных PDF-примеров и на его основе обучили визуально-языковую модель на базе Qwen3.5-35B-A3B-Base. Она извлекает любые реквизиты и суммы по текстовому запросу: не нужно под каждый тип документа писать отдельный шаблон.

Архитектура здесь работает на экономию. Суммарно у модели 35 млрд параметров, но на один запрос активируются только 3 млрд. Для запуска достаточно одного Nvidia H100. Разбор документов обходится на 80% дешевле полностью ручной обработки и на 50% дешевле лучших открытых аналогов.

Обратите внимание на выбор данных. Ключевой вклад здесь отбор именно сложных примеров, а не просто больше сканов: модель учат на тех случаях, где типовые решения ошибаются.

Что можно забрать в свой стек

Исследователи опубликовали методику создания внутренних тестов, описание пайплайна постобучения и языковую модель с открытыми весами, обученную на публичных данных. Она доступна на Hugging Face (t-tech/T-pro-it-2.1). Корпоративные данные банка остаются внутри, но рецепт можно повторить на своих.

Для команд с закрытым контуром выводов несколько. Если у вас уже несколько узких моделей на одной базе, имеет смысл проверить слияние через SLERP после RL: это способ сократить парк инстансов без потери качества на ключевых задачах. Внутренние бенчмарки стоит делать до миграции, потому что именно на них 32B-модель показала преимущество над 235B. Для обработки документов связка из MoE с малым числом активных параметров и одной H100 означает, что задача перестает быть вопросом отдельного кластера и укладывается в одну карту.

Пока это результаты одного банка на его собственной нагрузке, и перенос на другие отрасли потребует своих замеров. Но цифры экономии и открытые материалы делают работу полезной для любого, кто считает стоимость токена в закрытой инфраструктуре.