Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarVercel Blog→ original

Vercel permite trocar LLMs em produção sem redeploy: 125 novos modelos em 90 dias

A Vercel lançou no AI Gateway os modelos virtuais: o aplicativo chama não um LLM específico, mas um ID de tarefa, como vmc/coding-agent. Qual modelo está por trás desse ID, quais provedores de reserva são usados e qual política de retenção de dados se aplica é definido nas configurações do gateway. Nos últimos 90 dias, surgiram 125 novos modelos no gateway, e antes cada troca de modelo exigia alterar o código e fazer redeploy. Agora, todos os aplicativos passam a usar a nova configuração em poucos minutos.

Processado por IA de Vercel Blog; editado por Hamidun News
Vercel permite trocar LLMs em produção sem redeploy: 125 novos modelos em 90 dias
Fonte: Vercel Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalVercel Blog ↗
Editor-chefe
Dado-chave #1As configurações do modelo virtual têm prioridade sobre as da requisição: o código não consegue sobrescrevê-las
Dado-chave #2O Zero Data Retention funciona mesmo quando a requisição o desativa explicitamente
Dado-chave #3Para testar, crie um segundo ID, como vmc/coding-agent-candidate, e rode seus evals

Novos modelos estão saindo mais rápido do que as equipes conseguem adotá-los. Segundo a Vercel, nos últimos 90 dias o AI Gateway ganhou 125 modelos de mais de dez laboratórios, o que dá cerca de dez por semana. Trocar para qualquer um deles no gateway exige apenas uma linha, mas essa linha fica no seu código. Por isso, cada troca de modelo costuma terminar em edição, revisão e redeploy. A Vercel propõe tirar essa linha do código com os Virtual Models.

O que é um modelo virtual

Um modelo virtual é um ID de tarefa que você usa no lugar do nome do modelo. Por exemplo, você cria vmc/coding-agent e define uma vez no AI Gateway o que está por trás dele: qual modelo, qual velocidade e se é necessário Zero Data Retention (proibição de armazenamento das requisições pelo provedor). Esse ID pode ser criado no painel da equipe ou pela Vercel CLI.

Daí em diante, o código contém apenas esse ID. No exemplo do anúncio, a chamada de streamText do AI SDK recebe model: 'vmc/coding-agent', e o código não sabe mais nada sobre o provedor específico. Quando surgir um modelo melhor, inclusive de outro provedor, você altera a configuração com o comando edit, e todos os aplicativos e agentes que usam esse ID passam a usá-lo em poucos minutos. Nenhum deploy é necessário.

Isso também funciona com agentes de programação prontos, como Claude Code e Codex. Eles são conectados com o comando vercel ai-gateway setup, e o modelo virtual é escolhido na lista de modelos da própria ferramenta.

Um modelo para cada tarefa

As tarefas têm cargas bem diferentes. A triagem de tickets de suporte pode rodar centenas de vezes por hora, e nela o custo baixo é o que importa. A análise de contratos jurídicos acontece algumas vezes por dia, mas exige raciocínio forte. Antes, essas decisões ficavam espalhadas pelos repositórios. Agora, cada tarefa tem seu próprio ID virtual, e a configuração dele pode ser alterada independentemente das demais.

Ao trocar o modelo, algumas configurações são mantidas: fallbacks, Zero Data Retention e tags. Já as opções específicas de um provedor só funcionam para ele. Se você tinha uma configuração própria da Anthropic e redirecionou o ID para um modelo da OpenAI, ela deixa de ser aplicada. A Vercel recomenda explicitamente revisar as provider options sempre que o provedor mudar.

Para produção, a proposta é um esquema seguro. Crie um segundo ID, por exemplo vmc/coding-agent-candidate, aponte-o para o novo modelo e rode nele os seus evals (conjuntos de testes de qualidade). Se, depois de trocar o ID principal, a qualidade cair, ele pode voltar ao modelo anterior.

Controle para equipes de plataforma e segurança

Qualquer membro da equipe pode invocar um modelo virtual, mas só quem tem o papel adequado pode alterar suas configurações. Isso dá à equipe de plataforma e de segurança um ponto central de controle. Elas decidem quais modelos e com quais parâmetros estão disponíveis e, ao mesmo tempo, liberam rapidamente os novos lançamentos para os desenvolvedores.

Um detalhe importante: as configurações do modelo virtual têm prioridade sobre as da requisição. O código que faz a chamada não consegue alterar a ordem dos provedores, os fallbacks ou o nível de serviço. Se vmc/storefront-assistant tiver modelos de reserva definidos, todos os aplicativos usarão o mesmo cenário de tolerância a falhas, mesmo que a requisição especifique outros. O mesmo vale para a privacidade. Se o modelo virtual exige Zero Data Retention ou provedores que não treinam com os dados das requisições, isso é aplicado mesmo quando a requisição define explicitamente zeroDataRetention ou disallowPromptTraining como false.

As tags também são substituídas. As tags do modelo virtual sobrepõem as tags da requisição, de modo que os custos sempre são atribuídos à tarefa, independentemente de como o aplicativo rotula suas chamadas. Na página de Virtual Models, é possível ver as requisições, os gastos e a taxa de respostas bem-sucedidas de cada tarefa.

O que isso significa na prática

Os modelos virtuais funcionam com todos os tipos de modelo do AI Gateway: texto, imagem, vídeo, fala, embeddings e realtime. São compatíveis com o AI SDK e com APIs compatíveis com OpenAI e Anthropic. Segundo a Vercel, o gateway repassa os preços dos provedores sem markup e não cobra taxa da plataforma sobre a inferência, inclusive ao usar chaves próprias (BYOK).

A limitação deve ser considerada desde o início: você passa a depender do AI Gateway como camada de controle, e trocar a configuração sem deploy significa que um erro de configuração vai direto para produção. Por isso, o esquema com candidato e evals não é mera formalidade. Para equipes com vários agentes e dezenas de tarefas, essa é uma forma prática de deixar de fazer redeploy a cada novo modelo e, ao mesmo tempo, manter o controle sobre privacidade e custos.

História

Perguntas frequentes sobre a notícia

O que é um modelo virtual?

Um modelo virtual é um ID de tarefa que você usa no lugar do nome do modelo. Por exemplo, você cria vmc/coding-agent e define uma vez no AI Gateway o que está por trás dele: qual modelo, qual velocidade e se é necessário Zero Data Retention (proibição de armazenamento das requisições pelo provedor). Esse ID pode ser criado no painel da equipe ou pela Vercel CLI. Daí em diante, o código contém apenas esse ID.

O que se sabe sobre Um modelo para cada tarefa?

As tarefas têm cargas bem diferentes. A triagem de tickets de suporte pode rodar centenas de vezes por hora, e nela o custo baixo é o que importa. A análise de contratos jurídicos acontece algumas vezes por dia, mas exige raciocínio forte. Antes, essas decisões ficavam espalhadas pelos repositórios. Agora, cada tarefa tem seu próprio ID virtual, e a configuração dele pode ser alterada independentemente das demais. Ao trocar o modelo, algumas configurações são mantidas: fallbacks, Zero Data Retention e tags.

O que se sabe sobre Controle para equipes de plataforma e segurança?

Qualquer membro da equipe pode invocar um modelo virtual, mas só quem tem o papel adequado pode alterar suas configurações. Isso dá à equipe de plataforma e de segurança um ponto central de controle. Elas decidem quais modelos e com quais parâmetros estão disponíveis e, ao mesmo tempo, liberam rapidamente os novos lançamentos para os desenvolvedores. Um detalhe importante: as configurações do modelo virtual têm prioridade sobre as da requisição.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…