Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарVercel Blog→ оригинал

Vercel позволил менять LLM в проде без редеплоя: 125 новых моделей за 90 дней

Vercel запустил в AI Gateway виртуальные модели: приложение вызывает не конкретную LLM, а ID задачи вроде vmc/coding-agent. Какая модель, какие запасные провайдеры и какая политика хранения данных стоят за этим ID, задаётся в настройках шлюза. За последние 90 дней в шлюзе появилось 125 новых моделей, а раньше каждая смена модели означала правку кода и редеплой. Теперь все приложения подхватывают новую конфигурацию в течение нескольких минут.

AI-обработка оригинала Vercel Blog; редакция Hamidun News
Vercel позволил менять LLM в проде без редеплоя: 125 новых моделей за 90 дней
Источник: Vercel Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникVercel Blog ↗
Главный редактор
Ключевой факт #1Настройки виртуальной модели главнее настроек запроса: код их не переопределит
Ключевой факт #2Zero Data Retention работает, даже если запрос явно отключает его
Ключевой факт #3Для проверки заведите второй ID вроде vmc/coding-agent-candidate и прогоните evals

Новые модели сейчас выходят быстрее, чем команды успевают их внедрять. По данным Vercel, за последние 90 дней в AI Gateway появилось 125 моделей от более чем десяти лабораторий, то есть около десяти в неделю. Переключиться на любую из них в шлюзе можно одной строкой, но эта строка лежит в вашем коде. Поэтому каждая смена модели обычно заканчивается правкой, ревью и редеплоем. Vercel предлагает убрать эту строку из кода с помощью Virtual Models.

Что такое виртуальная модель

Виртуальная модель — это ID задачи, который вы подставляете туда, где раньше стояла строка с названием модели. Например, вы создаёте vmc/coding-agent и один раз указываете в AI Gateway, что за ним скрывается: какая модель, какая скорость, нужен ли Zero Data Retention (запрет на хранение запросов у провайдера). Создать такой ID можно в дашборде команды или через Vercel CLI.

Дальше в коде остаётся только этот ID. В примере из анонса вызов streamText из AI SDK получает model: 'vmc/coding-agent', и больше ничего о конкретном провайдере код не знает. Когда у вас появляется модель получше, в том числе от другого провайдера, вы меняете настройку командой edit, и все приложения и агенты, вызывающие этот ID, подхватывают её в течение нескольких минут. Деплоить ничего не нужно.

Подходит это и для готовых кодинг-агентов вроде Claude Code и Codex. Их подключают командой vercel ai-gateway setup, а виртуальную модель выбирают в списке моделей самого инструмента.

Своя модель под каждую задачу

Задачи сильно различаются по нагрузке. Разбор тикетов в поддержке может запускаться сотни раз в час, и там важна дешевизна. Проверка юридических договоров идёт несколько раз в день, но требует сильного рассуждения. Раньше такие решения часто размазывались по репозиториям. Теперь для каждой задачи заводится отдельный виртуальный ID, и его конфигурацию можно менять независимо от остальных.

При смене модели часть настроек остаётся на месте: фолбэки, Zero Data Retention и теги. А вот опции конкретного провайдера работают только для него. Если у вас была настройка, специфичная для Anthropic, и вы перенаправили ID на модель OpenAI, она перестанет применяться. Vercel прямо советует просматривать provider options при каждой смене провайдера.

Для продакшена предлагается безопасная схема. Заведите второй ID, например vmc/coding-agent-candidate, направьте его на новую модель и прогоните на нём свои evals (наборы проверок качества). Если после переключения основного ID качество просело, его можно вернуть на прежнюю модель.

Контроль для платформенных и security-команд

Вызывать виртуальную модель может любой участник команды, а менять её настройки — только те, у кого есть нужная роль. Это даёт платформенной и security-команде центральную точку управления. Они сами решают, какие модели и с какими параметрами доступны, при этом быстро открывают разработчикам новые релизы.

Важная деталь: настройки виртуальной модели приоритетнее настроек в запросе. Вызывающий код не сможет изменить порядок провайдеров, фолбэки или уровень сервиса. Если для vmc/storefront-assistant заданы запасные модели, все приложения будут использовать один и тот же сценарий отказоустойчивости, даже когда в запросе прописаны другие. То же касается приватности. Если виртуальная модель требует Zero Data Retention или провайдеров, которые не обучаются на данных запросов, это действует, даже когда запрос явно выставляет zeroDataRetention или disallowPromptTraining в false.

Теги тоже заменяются. Теги виртуальной модели вытесняют теги из запроса, поэтому расходы всегда попадают на задачу, как бы приложение ни помечало свои вызовы. На странице Virtual Models видны запросы, траты и доля успешных ответов по каждой задаче.

Что это значит на практике

Виртуальные модели работают со всеми типами моделей в AI Gateway: текстовыми, изображениями, видео, речью, эмбеддингами и realtime. Поддерживаются AI SDK и API, совместимые с OpenAI и Anthropic. По заявлению Vercel, шлюз берёт цены провайдеров без наценки и не взимает платформенную комиссию за инференс, в том числе при использовании собственных ключей (BYOK).

Ограничение стоит учитывать сразу: вы привязываетесь к AI Gateway как к слою управления, а смена конфигурации без деплоя означает, что ошибка в настройке сразу попадёт в продакшен. Поэтому схема с кандидатом и evals здесь не формальность. Для команд с несколькими агентами и десятками задач это практичный способ перестать гонять редеплои из-за каждой новой модели и при этом сохранить контроль над приватностью и расходами.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое виртуальная модель?

Виртуальная модель — это ID задачи, который вы подставляете туда, где раньше стояла строка с названием модели. Например, вы создаёте vmc/coding-agent и один раз указываете в AI Gateway, что за ним скрывается: какая модель, какая скорость, нужен ли Zero Data Retention (запрет на хранение запросов у провайдера). Создать такой ID можно в дашборде команды или через Vercel CLI. Дальше в коде остаётся только этот ID.

Что известно по теме: своя модель под каждую задачу?

Задачи сильно различаются по нагрузке. Разбор тикетов в поддержке может запускаться сотни раз в час, и там важна дешевизна. Проверка юридических договоров идёт несколько раз в день, но требует сильного рассуждения. Раньше такие решения часто размазывались по репозиториям. Теперь для каждой задачи заводится отдельный виртуальный ID, и его конфигурацию можно менять независимо от остальных. При смене модели часть настроек остаётся на месте: фолбэки, Zero Data Retention и теги.

Что известно по теме: контроль для платформенных и security-команд?

Вызывать виртуальную модель может любой участник команды, а менять её настройки — только те, у кого есть нужная роль. Это даёт платформенной и security-команде центральную точку управления. Они сами решают, какие модели и с какими параметрами доступны, при этом быстро открывают разработчикам новые релизы. Важная деталь: настройки виртуальной модели приоритетнее настроек в запросе. Вызывающий код не сможет изменить порядок провайдеров, фолбэки или уровень сервиса.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…