Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)

Zyphra lança síntese de voz no navegador com latência inferior a 570 ms no Pixel 9

Um assistente de voz pode ler respostas diretamente no celular: a Zyphra lançou o ZONOS3-Mini, que roda no navegador via WebGPU. A empresa informa um tempo até o primeiro áudio inferior a 570 ms no Pixel 9 e a 150 ms no MacBook Air M3. O modelo clona vozes a partir de gravações e permite ajustar a interpretação de palavras específicas. Para equipes de produto, é uma oportunidade de testar a síntese de voz local nos próprios dispositivos.

Processado por IA de TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Zyphra lança síntese de voz no navegador com latência inferior a 570 ms no Pixel 9
Fonte: TG: @ai_machinelearning_big_data (Machinelearning). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @ai_machinelearning_big_data (Machinelearning) ↗
Editor-chefe
Dado-chave #1Os pesos estão disponíveis sob Apache 2.0; há opções para navegador e servidor.
Dado-chave #2A ficha atual lista 43 idiomas, incluindo o russo: a publicação original está desatualizada.
Dado-chave #3A própria Zyphra mediu a latência; o carregamento do modelo precisa ser avaliado separadamente.

Quando um assistente de voz já gerou a resposta, mas continua em silêncio, o usuário percebe cada pausa. Uma forma de reduzir a espera é sintetizar a voz no próprio dispositivo. A Zyphra lançou o ZONOS3-Mini: segundo as medições da empresa, o primeiro áudio chega em menos de 570 ms no navegador de um Pixel 9 e em menos de 150 ms em um MacBook Air com M3. Um aplicativo educacional, por exemplo, pode ler dicas diretamente no celular. Vale o desenvolvedor verificar se essa opção atende aos requisitos da interface. Anúncio da Zyphra.

Primeiro, uma correção à publicação original no Telegram: a afirmação de que são “nove idiomas, sem russo” diverge da documentação atual. A ficha do modelo lista 43 idiomas, incluindo o russo. Mas a presença de um idioma na lista ainda não esclarece a qualidade da pronúncia de sobrenomes, abreviações e números no seu produto. Ficha do modelo.

Como isso pode ajudar no produto

Imagine um aplicativo para aprender inglês. O usuário responde a uma pergunta, recebe uma correção e ouve um exemplo de pronúncia. Se a síntese de voz funcionar localmente, a equipe pode eliminar a chamada a um serviço externo nessa etapa. Quanto isso acelera a conversa inteira também depende das outras partes do sistema: reconhecimento de fala, geração da resposta e preparação do texto.

O ZONOS3-Mini consegue clonar uma voz a partir de uma amostra e alterar suas características: idade aparente, sotaque e timbre. É possível controlar a emoção, o ritmo e a interpretação de palavras específicas. Em um jogo, isso permite testar diferentes entonações de um personagem para a mesma fala; no ensino, destacar com a voz uma palavra que o aluno errou. São recursos anunciados cuja qualidade precisa ser avaliada ouvindo os resultados. Descrição dos recursos.

O teste prático é bastante simples: usar textos reais da interface e comparar várias versões de áudio em um teste cego. Peça aos colegas que avaliem a inteligibilidade, a naturalidade das pausas e a adequação da entonação. Exemplos difíceis são especialmente úteis: o nome longo de um plano, um valor acompanhado da moeda, um endereço ou uma frase em russo com um termo em inglês.

O que está por trás de Mini

O modelo tem 800 milhões de parâmetros, mas apenas cerca de 100 milhões são ativados a cada etapa de processamento. Ele usa uma arquitetura de mistura de especialistas (MoE), que distribui os cálculos entre blocos especializados. Isso ajuda a reduzir o trabalho durante a geração, mas o modelo ainda precisa ser carregado e armazenado. O número de parâmetros ativos, por si só, não indica quanta memória o aplicativo vai ocupar. Descrição técnica.

Há várias opções de integração. O repositório inclui uma versão para navegador via WebGPU, um servidor para NVIDIA, uma versão com MLX para Apple Silicon e uma implementação em C++/ggml. Os servidores compartilham uma API HTTP e oferecem transmissão de áudio em streaming. A equipe pode começar com um protótipo no navegador e depois compará-lo com um servidor local no hardware de destino. Código e instruções.

A execução no navegador exige um download inicial do modelo; depois disso, os arquivos ficam em cache. Por isso, o produto precisa de duas medições separadas: a primeira visita de um novo usuário e uma abertura posterior do aplicativo. A geração rápida após o carregamento não garante uma primeira inicialização igualmente rápida. Instruções para o navegador.

O que testar antes da implementação

As latências publicadas são resultados da própria Zyphra em dispositivos específicos. Devem servir como referência para os seus testes. Verifique o tempo até o primeiro áudio, a reprodução contínua de respostas longas, o consumo de memória e o comportamento do celular após vários minutos de uso. Avalie separadamente o que acontece ao alternar entre abas e executar outras cargas de trabalho ao mesmo tempo.

Para usos em russo, a preparação do texto é especialmente importante. A documentação lista nove idiomas com normalização específica; os demais são enviados ao modelo como estão escritos. O russo não está entre esses nove. Portanto, a conversão de datas, valores monetários e abreviações deve fazer parte dos testes de integração. Descrição do processamento de texto.

Os pesos foram disponibilizados sob Apache 2.0. Isso torna o modelo um candidato interessante para uma interface de voz própria, mas a decisão de implementá-lo deve vir depois de um pequeno protótipo: falas reais, dispositivos de destino e um limite mensurável de latência aceitável. A principal questão de produto é se o usuário recebe uma resposta de voz compreensível com rapidez e estabilidade suficientes. Licença dos pesos.

História

Perguntas frequentes sobre a notícia

Como isso pode ajudar no produto?

Imagine um aplicativo para aprender inglês. O usuário responde a uma pergunta, recebe uma correção e ouve um exemplo de pronúncia. Se a síntese de voz funcionar localmente, a equipe pode eliminar a chamada a um serviço externo nessa etapa. Quanto isso acelera a conversa inteira também depende das outras partes do sistema: reconhecimento de fala, geração da resposta e preparação do texto. O ZONOS3-Mini consegue clonar uma voz a partir de uma amostra e alterar suas características: idade aparente, sotaque e timbre.

O que está por trás de Mini?

O modelo tem 800 milhões de parâmetros, mas apenas cerca de 100 milhões são ativados a cada etapa de processamento. Ele usa uma arquitetura de mistura de especialistas (MoE), que distribui os cálculos entre blocos especializados. Isso ajuda a reduzir o trabalho durante a geração, mas o modelo ainda precisa ser carregado e armazenado. O número de parâmetros ativos, por si só, não indica quanta memória o aplicativo vai ocupar. Descrição técnica. Há várias opções de integração.

O que testar antes da implementação?

As latências publicadas são resultados da própria Zyphra em dispositivos específicos. Devem servir como referência para os seus testes. Verifique o tempo até o primeiro áudio, a reprodução contínua de respostas longas, o consumo de memória e o comportamento do celular após vários minutos de uso. Avalie separadamente o que acontece ao alternar entre abas e executar outras cargas de trabalho ao mesmo tempo. Para usos em russo, a preparação do texto é especialmente importante.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…