Apriel Voice 27B, modelo aberto, marca 98,90 no Big Bench Audio e 81,13 no Speech-BFCL

Pesquisadores do projeto Apriel apresentaram a Apriel Voice 27B Preview, um modelo de linguagem de fala aberto que reúne compreensão de voz, raciocínio e chamada de ferramentas em um único backbone. No modo de raciocínio, ela marca 98,90 no Big Bench Audio (conjunto de perguntas de raciocínio apresentadas em formato de áudio) e 81,13 no Speech-BFCL (versão em fala do benchmark de chamada de funções Berkeley Function-Calling Leaderboard). A latência média de resposta é de 1,91 segundo.

A base do modelo é um checkpoint ajustado do Gemma 4 26B-A4B, uma arquitetura mixture-of-experts com cerca de 26 bilhões de parâmetros no total e aproximadamente 4 bilhões ativos por token. A Apriel Voice recebe fala diretamente, mantém as entradas de texto e imagem e gera sozinha tanto as respostas quanto as chamadas de ferramentas, sem necessidade de um modelo de diálogo separado.

O que os benchmarks mostraram

Além dos dois resultados principais, a taxa média de sucesso nas tarefas do benchmark de voz Voice é de 65,51%. No EVA-Bench em inglês, que mede tanto a precisão do serviço quanto a qualidade da interação, a precisão chega a 51,27%, e a pontuação de experiência pass@1 é de 74,13%. Os autores classificam o resultado como forte para um modelo aberto cujas capacidades de fala se estendem ao raciocínio e à ação.

Os autores também ressaltam que, para um agente de voz, a precisão de reconhecimento não basta: o modelo pode transcrever corretamente um pedido e, ainda assim, descumprir as restrições ou deixar de chamar a ferramenta necessária. Por isso, a fala foi avaliada como interface para capacidades gerais, como raciocínio, seguimento de instruções, diálogo e conclusão de tarefas, além de reconhecimento e tradução. O relatório compara ainda os modos com e sem raciocínio, a cobertura de idiomas e a preservação das habilidades com texto e imagens.

Arquitetura: encoder, projetor e backbone compartilhado

O áudio passa por um encoder Whisper large-v3-turbo congelado, que produz características acústicas de 1280 dimensões. Um projetor treinável concatena oito quadros vizinhos e os passa por camadas lineares com gate SwiGLU até o espaço de 2816 dimensões do decodificador. O desenho foi tomado de empréstimo do Ultravox, e o projetor tem exatamente 47 722 496 parâmetros, cerca de 47,7 milhões. Na inferência, nenhuma transcrição é gerada: o decodificador recebe as representações acústicas diretamente.

A execução das ferramentas e a síntese de fala ficam fora do modelo. O aplicativo aciona as ferramentas, devolve os resultados ao mesmo contexto e envia o texto da resposta a um sintetizador de voz substituível. A detecção do fim da fala e o tratamento de interrupções também funcionam ao redor do modelo. Com isso, é possível trocar a voz ou o sistema de síntese sem retreinar o modelo de raciocínio.

Como o modelo foi treinado

O objetivo era dar uma interface de fala a um decodificador já forte sem perder as capacidades anteriores. Na primeira etapa, o projetor é treinado em transcrição multilíngue, tradução e continuação de fala, com o backbone congelado. Na segunda, projetor e backbone são atualizados juntos, com tarefas de fala, diálogos gerados internamente, exemplos de uso de ferramentas e replay de dados de texto.

Para cada fonte de dados, combinam-se entropia cruzada e divergência de Kullback-Leibler direta. A primeira ensina as respostas-alvo e as chamadas de ferramentas; a segunda transfere o comportamento de uma cópia congelada do backbone original e limita o esquecimento. Esse professor só é necessário no treinamento e não existe na inferência.

Os diálogos são criados primeiro como texto e depois convertidos automaticamente em fala: selecionam-se trechos, usa-se uma única voz de referência dentro de cada diálogo e a fidelidade da conversão é verificada. A parte de engenharia inclui execução local do professor, sobreposição dos cálculos do professor e do estudante, kernels fundidos (fused) para as perdas sobre o vocabulário completo e salvamento coordenado de checkpoints.

O que isso significa

Para quem trabalha com o tema, o interessante é a receita em si: pegar um modelo de texto forte, acrescentar um projetor de fala e preservar o comportamento dele por meio de destilação, em vez de montar uma cascata de reconhecimento de fala, LLM e síntese. Esta é uma versão Preview, e, para conversas ao vivo, os autores implantaram uma plataforma própria, a Apriel Live.