El modelo abierto Apriel Voice 27B logra 98,90 en Big Bench Audio y 81,13 en Speech-BFCL

Los investigadores del proyecto Apriel han presentado Apriel Voice 27B Preview, un modelo de lenguaje de voz abierto que reúne comprensión de la voz, razonamiento y llamada a herramientas en un único backbone compartido. En modo de razonamiento obtiene 98,90 en Big Bench Audio (un conjunto de preguntas de razonamiento planteadas en formato de audio) y 81,13 en Speech-BFCL (la versión de voz del benchmark de llamada a funciones Berkeley Function-Calling Leaderboard). La latencia media de respuesta es de 1,91 segundos.

La base del modelo es un checkpoint ajustado de Gemma 4 26B-A4B, una arquitectura mixture-of-experts con unos 26 mil millones de parámetros en total y cerca de 4 mil millones activos por token. Apriel Voice acepta voz directamente, mantiene las entradas de texto e imagen y genera por sí mismo tanto las respuestas como las llamadas a herramientas, sin necesidad de un modelo de diálogo aparte.

Qué mostraron los benchmarks

Además de los dos resultados principales, la tasa media de éxito en tareas del benchmark de voz Voice es del 65,51%. En EVA-Bench en inglés, que mide tanto la precisión del servicio como la calidad de la interacción, la precisión alcanza el 51,27% y la puntuación de experiencia pass@1 llega al 74,13%. Los autores consideran que es un resultado sólido para un modelo abierto cuyas capacidades de voz se extienden al razonamiento y la acción.

Los autores subrayan además que a un agente de voz no le basta con reconocer bien el habla: puede transcribir correctamente una petición y aun así incumplir las restricciones o no llamar a la herramienta adecuada. Por eso evaluaron la voz como una interfaz hacia capacidades generales (razonamiento, seguimiento de instrucciones, diálogo y finalización de tareas), junto con el reconocimiento y la traducción. El informe también compara los modos con y sin razonamiento, la cobertura de idiomas y la conservación de las habilidades con texto e imágenes.

Arquitectura: codificador, proyector y backbone compartido

El audio pasa por un codificador Whisper large-v3-turbo congelado, que genera características acústicas de 1280 dimensiones. Un proyector entrenable agrupa ocho fotogramas contiguos y los pasa por capas lineales con compuerta SwiGLU hasta el espacio de 2816 dimensiones del decodificador. El diseño está tomado de Ultravox, y el tamaño del proyector es exactamente de 47 722 496 parámetros, unos 47,7 millones. En la inferencia no se genera transcripción: el decodificador recibe directamente las representaciones acústicas.

La ejecución de herramientas y la síntesis de voz quedan fuera del modelo. La aplicación lanza las herramientas, devuelve los resultados al mismo contexto y envía el texto de la respuesta a un sintetizador de voz intercambiable. La detección del final de turno y la gestión de interrupciones también funcionan alrededor del modelo. Gracias a ello, se puede cambiar la voz o el sistema de síntesis sin reentrenar el propio modelo de razonamiento.

Cómo se entrenó el modelo

El objetivo era añadir una interfaz de voz a un decodificador que ya era potente sin perder sus capacidades previas. En la primera etapa se entrena el proyector con transcripción multilingüe, traducción y continuación de voz, con el backbone congelado. En la segunda etapa se actualizan conjuntamente el proyector y el backbone, con tareas de voz, diálogos generados internamente, ejemplos de uso de herramientas y repetición de datos de texto.

Para cada fuente de datos se combinan la entropía cruzada y la divergencia de Kullback-Leibler directa. La primera enseña las respuestas objetivo y las llamadas a herramientas; la segunda transfiere el comportamiento de una copia congelada del backbone original y limita el olvido. Este profesor solo se necesita durante el entrenamiento y no existe en la inferencia.

Los diálogos se crean primero como texto y después se convierten automáticamente en voz: se seleccionan fragmentos, se usa una sola voz de referencia dentro de cada diálogo y se comprueba la fidelidad de la conversión. La parte de ingeniería incluye el despliegue local del profesor, el solapamiento de los cálculos del profesor y del estudiante, kernels fusionados para las pérdidas sobre el vocabulario completo y un guardado coherente de los checkpoints.

Qué significa

Para los profesionales, lo interesante es la receta en sí: tomar un modelo de texto potente, añadirle un proyector de voz y conservar su comportamiento mediante destilación, en lugar de montar una cascada de reconocimiento de voz, LLM y síntesis. Se trata de una versión Preview, y para las conversaciones en vivo los autores han desplegado su propia plataforma, Apriel Live.