El modelo abierto Apriel Voice 27B logra 98,90 puntos en la prueba de audio Big Bench Audio

Los investigadores del proyecto Apriel han lanzado Apriel Voice 27B Preview, un modelo de lenguaje de voz abierto construido sobre un checkpoint ajustado de Gemma 4 26B-A4B. El modelo recibe la voz directamente, razona y llama a herramientas sin necesidad de un modelo de diálogo independiente. En modo de razonamiento obtuvo 98,90 puntos en Big Bench Audio, una prueba de razonamiento sobre preguntas formuladas en formato de audio, y 81,13 en Speech-BFCL, que evalúa la llamada a funciones a partir de una consulta de voz. Otro resultado: un 65,51 % de éxito medio en tareas del benchmark de voz, con una latencia media de 1,91 segundos.

Una sola base en lugar de una cascada

Un asistente de voz clásico se compone de tres piezas: reconocimiento de voz (ASR), un modelo de lenguaje y síntesis de voz (TTS). Otro enfoque deja a la capa de voz solo la conversación y delega el razonamiento y las herramientas en un modelo de backend aparte. En Apriel Voice lo decide todo un único modelo: entiende el habla, responde en el diálogo y elige por sí mismo cuándo llamar a una herramienta y cuál. En el contexto permanecen el texto, las imágenes y los resultados de las herramientas invocadas.

La Gemma 4 26B-A4B original es un modelo de tipo mixture-of-experts: alrededor de 26.000 millones de parámetros en total y unos 4.000 millones activos por cada token. La aplicación ejecuta las herramientas, devuelve los resultados al diálogo y pasa el texto de la respuesta a un sintetizador de voz intercambiable, de modo que la voz puede cambiarse sin reentrenar el modelo. La detección del final de turno y la gestión de las interrupciones funcionan alrededor del modelo.

El habla llega al decodificador a través de un codificador Whisper large-v3-turbo congelado, que genera rasgos acústicos de dimensión 1280, y de un proyector entrenable. El proyector concatena ocho fotogramas contiguos, los pasa por capas lineales y un bloque SwiGLU y los traslada al espacio de embeddings del decodificador, de dimensión 2816. Tiene exactamente 47 722 496 parámetros. En la inferencia no se genera una transcripción: el modelo trabaja directamente con las representaciones acústicas.

Dos etapas de entrenamiento y destilación online

En la primera etapa, con la base congelada, solo se entrena el proyector, con tareas de transcripción multilingüe, traducción y continuación del habla. En la segunda, el proyector y la base se afinan conjuntamente: se utiliza ajuste supervisado con tareas de voz, diálogos generados internamente e interacciones con herramientas, además de una repetición de datos de texto para que el modelo no pierda las habilidades previas.

Los diálogos de voz se construyen de forma automática. Los diálogos de texto de las tareas se convierten en ejemplos de voz: se seleccionan los fragmentos que se van a locutar, en cada conversación se usa la misma voz de referencia y la exactitud de la conversión se verifica por separado.

Para cada fuente de datos se aplica una función de pérdida distinta: entropía cruzada, divergencia KL directa (FKL) o una combinación de ambas. La entropía cruzada enseña las respuestas objetivo, mientras que la FKL, calculada respecto a una copia congelada de la base original, traslada su comportamiento a los contextos de voz. El profesor solo hace falta durante el entrenamiento; en la inferencia no está presente.

Para que este esquema resulte viable en términos de cómputo, los autores ejecutan el profesor en local junto al estudiante, solapan en el tiempo los cálculos de ambos, usan kernels de pérdida fusionados sobre todo el vocabulario y guardan los checkpoints de forma coordinada.

Resultados y contexto

Además de Big Bench Audio y Speech-BFCL, los autores evaluaron el modelo en EVA-Bench, que mide tanto la precisión del servicio como la calidad de la interacción. En la versión en inglés, la precisión fue del 51,27 % y la puntuación de experiencia pass@1, del 74,13 %. El informe también abarca la cobertura multilingüe, el efecto del modo de razonamiento, la traducción, los escenarios corporativos y la conservación de las capacidades de texto e imagen.

El método se apoya en enfoques conocidos: la combinación de codificador y proyector, como en Ultravox y SLAM-ASR, y la transferencia de comportamiento entre modalidades, como en BLSP-KD. La aportación de los autores está en cómo se eligen las señales de entrenamiento, en los diálogos de voz sintéticos y en la implementación eficiente de la destilación online. Se trata de una versión Preview, y todas las cifras proceden del informe de los propios desarrolladores.

Para quienes crean agentes de voz, lo relevante es la arquitectura: cuando la comprensión del habla, el razonamiento y la llamada a herramientas residen en un único modelo abierto, el sistema tiene menos puntos de unión entre componentes. Como demostración, los autores han lanzado la plataforma Apriel Live, donde se puede probar el modelo en conversaciones de voz en vivo.