Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoVercel Blog→ original

Vercel adiciona 14 modelos da ElevenLabs ao AI Gateway com 50% de desconto por 14 dias

A Vercel adicionou 14 modelos da ElevenLabs ao AI Gateway, e agora um aplicativo de voz pode ser montado com uma única chave de API. O usuário fala, um modelo reconhece a fala, qualquer modelo de linguagem escreve a resposta e a voz da ElevenLabs a lê conforme ela é gerada. Até 9 de novembro, todos esses modelos no gateway custam 50% menos, o que torna conveniente testar voz no produto agora. São seis tipos de modelos: reconhecimento de fala, síntese de voz, agentes de voz, música, efeitos sonoros e diálogos. Os modelos Realtime da Eleven mantêm a conversa em uma única sessão WebSocket, sem etapas separadas. A Vercel não cobra markup nem comissão de plataforma, inclusive nas requisições feitas com a sua própria chave.

Processado por IA de Vercel Blog; editado por Hamidun News
Vercel adiciona 14 modelos da ElevenLabs ao AI Gateway com 50% de desconto por 14 dias
Fonte: Vercel Blog. Colagem: Hamidun News.
Ouvir artigo

A interface de voz costuma custar mais caro do que parece no início. É preciso um serviço para reconhecimento de fala, outro para o modelo de linguagem e um terceiro para a síntese de voz, cada um com sua chave, suas faturas e seus logs. A Vercel propõe reunir tudo isso: o AI Gateway agora oferece 14 modelos da ElevenLabs, e todos funcionam com uma única chave de API. Para marcar o lançamento, todos os modelos da ElevenLabs no gateway têm 50% de desconto até 9 de novembro, inclusive.

O que foi conectado

São seis tipos de modelos. O reconhecimento de fala (Scribe v2 e Scribe v2 Realtime) converte a voz em texto, inclusive enquanto a pessoa ainda está falando. A síntese em streaming (Eleven Flash v2.5, Flash v2, Multilingual v2, v3 Conversational) começa a reproduzir o áudio enquanto o modelo de linguagem ainda termina a resposta. Os agentes de voz (Eleven Realtime v1 Max e v1 Mini) conduzem a conversa inteira em um único modelo. Há ainda a geração de música (Music v2.5 e v2), de efeitos sonoros (Sound Effects v2) e a síntese de diálogos com várias vozes (Eleven v4, v4 Turbo, v3).

Na prática, todas as requisições entram nos mesmos relatórios de gastos, uso e rastreamento do restante do tráfego que passa pelo AI Gateway. Não é preciso criar uma conta separada para o áudio nem conciliar as faturas manualmente.

Duas formas de montar um assistente de voz

A primeira forma é um pipeline de três etapas. Tomemos o exemplo da documentação: um passageiro pergunta se vai conseguir fazer a conexão. O Scribe v2 Realtime transcreve a fala em tempo real, em seguida o modelo de linguagem escolhido (no exemplo, um modelo da Anthropic da família Claude Haiku) combina o status do voo e a distância até o portão de embarque, e o Eleven Flash v2.5 lê a resposta à medida que ela aparece. O usuário ouve o início da frase sem esperar o texto terminar. Cada etapa é um modelo separado, então o reconhecimento, o "cérebro" ou a voz podem ser trocados sem alterar o restante do código.

A segunda forma é um único modelo para o diálogo inteiro. Os modelos Eleven Realtime v1 Max e v1 Mini recebem o áudio do usuário e respondem com voz em uma única sessão WebSocket. Não é necessário conectar reconhecimento e síntese separadamente. Isso serve bem para uma linha de suporte ou um assistente dentro do aplicativo, em que interromper a fala e manter um ritmo natural são importantes: à pergunta "Posso mudar o endereço de entrega?", o agente responde de imediato "Claro, me informe o número do pedido".

O esquema de segurança é simples: o servidor apenas emite um token de curta duração para o modelo escolhido, e o navegador abre a conexão por conta própria. Assim, a chave de API nunca chega ao cliente. No frontend, o hook useRealtime, do @ai-sdk/react, cuida do microfone, da conexão e da reprodução. Um detalhe importante: os modelos Realtime detectam o fim da fala apenas por meio de detecção semântica de pausas (semantic-vad), e não suportam o modo server-vad.

Música, efeitos e diálogos

O Music v2.5 e o v2 criam uma faixa pronta na duração desejada a partir de uma descrição em texto, com ou sem vocal. É possível definir gênero, humor e instrumentos e, para maior controle, descrever a música por seções, cada uma com seu estilo e duração. O Sound Effects v2 faz o mesmo com sons curtos: passos, o estrondo de uma porta, chuva em loop para uma fase de jogo. No código, trata-se da mesma chamada generateSpeech, mas em vez de um texto a ser lido passa-se a descrição do som, por exemplo "batida lo-fi calma com piano suave" durante 30 segundos.

Os modelos Eleven v4, v4 Turbo e v3 sintetizam um roteiro com vários personagens em uma única requisição. Cada fala recebe uma voz, a troca de voz inicia um novo turno, e o resultado é uma gravação contínua. Para um podcast com dois apresentadores ou uma cena com elenco completo, não é preciso juntar dezenas de clipes separados.

Preço e pontos de atenção

Segundo a Vercel, o AI Gateway repassa os preços dos provedores sem markup e não cobra comissão de plataforma pela inferência, inclusive quando se usa a chave própria (BYOK). O gateway também oferece novas tentativas automáticas, fallback para uma alternativa, orçamentos por chave, regras de roteamento e suporte a Zero Data Retention.

Há limitações. Algumas funções do SDK estão marcadas como experimentais (por exemplo, streamSpeech e streamTranscribe), então a interface pode mudar. O desconto é temporário, e a Vercel não divulgou dados sobre latência e qualidade em comparação com a conexão direta à ElevenLabs. Quem já paga a ElevenLabs diretamente deve comparar o valor final das faturas.

Para quem desenvolve um assistente de voz, um bot de suporte ou um jogo com som, essas duas semanas são uma forma barata de testar a hipótese. O protótipo pode ser montado em uma noite com um único SDK, e a decisão sobre uma arquitetura definitiva deve vir depois da comparação de latência e custo em conversas reais.

História

Perguntas frequentes sobre a notícia

O que foi conectado?

São seis tipos de modelos. O reconhecimento de fala (Scribe v2 e Scribe v2 Realtime) converte a voz em texto, inclusive enquanto a pessoa ainda está falando. A síntese em streaming (Eleven Flash v2.5, Flash v2, Multilingual v2, v3 Conversational) começa a reproduzir o áudio enquanto o modelo de linguagem ainda termina a resposta. Os agentes de voz (Eleven Realtime v1 Max e v1 Mini) conduzem a conversa inteira em um único modelo.

O que se sabe sobre Duas formas de montar um assistente de voz?

A primeira forma é um pipeline de três etapas. Tomemos o exemplo da documentação: um passageiro pergunta se vai conseguir fazer a conexão. O Scribe v2 Realtime transcreve a fala em tempo real, em seguida o modelo de linguagem escolhido (no exemplo, um modelo da Anthropic da família Claude Haiku) combina o status do voo e a distância até o portão de embarque, e o Eleven Flash v2.5 lê a resposta à medida que ela aparece. O usuário ouve o início da frase sem esperar o texto terminar.

O que se sabe sobre Música, efeitos e diálogos?

O Music v2.5 e o v2 criam uma faixa pronta na duração desejada a partir de uma descrição em texto, com ou sem vocal. É possível definir gênero, humor e instrumentos e, para maior controle, descrever a música por seções, cada uma com seu estilo e duração. O Sound Effects v2 faz o mesmo com sons curtos: passos, o estrondo de uma porta, chuva em loop para uma fase de jogo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…