Modelo aberto Apriel Voice 27B alcança 98,90 pontos no teste de áudio Big Bench Audio

Pesquisadores do projeto Apriel lançaram o Apriel Voice 27B Preview, um modelo de linguagem de fala aberto, construído sobre um checkpoint refinado do Gemma 4 26B-A4B. Ele recebe voz diretamente, raciocina e chama ferramentas sem depender de um modelo de diálogo separado. No modo de raciocínio, o modelo alcançou 98,90 pontos no Big Bench Audio, teste de raciocínio sobre perguntas feitas em formato de áudio, e 81,13 no Speech-BFCL, que avalia a chamada de funções a partir de um pedido por voz. Outro resultado é a taxa média de sucesso de 65,51% nas tarefas de um benchmark de voz, com latência média de 1,91 segundo.

Uma única base no lugar da cascata

O assistente de voz clássico é montado com três partes: reconhecimento de fala (ASR), um modelo de linguagem e síntese de voz (TTS). Outra abordagem deixa para a camada de voz apenas a conversa e repassa o raciocínio e as ferramentas a um modelo de back-end separado. No Apriel Voice, um único modelo resolve tudo: ele entende a fala, responde no diálogo e decide sozinho quando chamar uma ferramenta e qual. O contexto mantém texto, imagens e os resultados das ferramentas chamadas.

O Gemma 4 26B-A4B original é um modelo do tipo mixture-of-experts (MoE), com cerca de 26 bilhões de parâmetros no total e cerca de 4 bilhões ativos por token. O aplicativo executa as ferramentas, devolve os resultados ao diálogo e envia o texto da resposta a um sintetizador de voz intercambiável, de modo que a voz pode ser trocada sem retreinar o modelo. A detecção do fim de cada fala e o tratamento de interrupções ficam fora do modelo.

A fala chega ao decodificador por meio do codificador Whisper large-v3-turbo, congelado, que gera características acústicas de dimensão 1280, e de um projetor treinável. O projetor concatena oito quadros vizinhos, passa o resultado por camadas lineares e por um bloco SwiGLU e o converte para o espaço de embeddings do decodificador, de dimensão 2816. Ele tem exatamente 47 722 496 parâmetros. Na inferência, nenhuma transcrição é gerada: o modelo trabalha diretamente com as representações acústicas.

Duas etapas de treinamento e destilação online

Na primeira etapa, com a base congelada, apenas o projetor é treinado, em tarefas de transcrição multilíngue, tradução e continuação de fala. Na segunda etapa, projetor e base são refinados em conjunto: usam-se ajuste fino supervisionado em tarefas de fala, diálogos gerados internamente e interações com ferramentas, além de uma repetição de dados de texto, para que o modelo não perca as habilidades anteriores.

Os diálogos de fala são construídos automaticamente. Diálogos de texto de tarefas são convertidos em exemplos de fala: selecionam-se os trechos a serem sintetizados, cada conversa usa a mesma voz de referência e a precisão da conversão é verificada separadamente.

Cada fonte de dados recebe uma função de perda própria: entropia cruzada, divergência KL direta (FKL) ou uma combinação das duas. A entropia cruzada ensina as respostas-alvo, enquanto a FKL, calculada em relação à cópia congelada da base original, transfere o comportamento dela para contextos de fala. O professor é necessário apenas no treinamento e não existe na inferência.

Para tornar esse esquema viável do ponto de vista computacional, os autores executam o professor localmente, ao lado do aluno, sobrepõem no tempo os cálculos de professor e aluno, usam kernels de perda fundidos sobre todo o vocabulário e salvam checkpoints de forma coordenada.

Resultados e contexto

Além do Big Bench Audio e do Speech-BFCL, os autores avaliaram o modelo no EVA-Bench, que mede tanto a precisão do serviço quanto a qualidade da interação. Na versão em inglês, a precisão foi de 51,27%, e a nota de experiência pass@1, de 74,13%. O relatório também aborda cobertura multilíngue, o efeito do modo de raciocínio, tradução, cenários corporativos e a preservação das capacidades de texto e de imagem.

O método se apoia em abordagens conhecidas: a combinação de codificador e projetor, como no Ultravox e no SLAM-ASR, e a transferência de comportamento entre modalidades, como no BLSP-KD. A contribuição dos autores está na escolha dos sinais de treinamento, nos diálogos de fala sintéticos e na implementação eficiente da destilação online. Esta é uma versão Preview, e todos os números vêm do relatório dos próprios desenvolvedores.

Para quem cria agentes de voz, a arquitetura importa: quando compreensão de fala, raciocínio e chamada de ferramentas ficam em um único modelo aberto, o sistema tem menos pontos de junção entre componentes. Como demonstração, os autores lançaram a plataforma Apriel Live, onde é possível testar o modelo em conversas de voz ao vivo.