Stability AI lanza Stable Audio 3 para generar música con rapidez

Stability AI ha presentado Stable Audio 3, una nueva familia de modelos para generar música instrumental y efectos de sonido. A diferencia de las versiones anteriores, los nuevos modelos son bastante más rápidos y requieren menos recursos de cómputo, lo que acerca la generación de audio a un público mucho más amplio. La compañía ha publicado los pesos abiertos de los modelos, de modo que los desarrolladores pueden usarlos libremente e integrarlos en sus aplicaciones.

Calidad al alcance de cualquier equipo

El cambio principal de la tercera versión es la democratización del acceso a la generación de audio. La compañía publicó pesos abiertos para dos variantes: small y medium.

La versión small funciona en la CPU de un MacBook Pro M4 sin necesidad de GPU adicional. Basta con un portátil corriente, como el que tiene la mayoría de los usuarios en todo el mundo. Esto significa que incluso quienes no disponen de hardware caro podrán generar sonido y música en sus propios dispositivos.

La variante medium requiere una tarjeta gráfica con 8GB de VRAM, algo que tiene la gran mayoría de las GPU de consumo lanzadas en los últimos 2-3 años. Incluso los usuarios con tarjetas económicas como la GTX 1660 o la RTX 3060 podrán ejecutar el modelo en local, en su propio ordenador, sin depender de servicios en la nube ni de suscripciones mensuales.

Ambas variantes generan audio estéreo con una frecuencia de muestreo de 44.1 kHz, el estándar profesional para música y efectos de sonido. Esto significa que la calidad es lo bastante alta para proyectos comerciales, como películas, videojuegos, pódcasts y álbumes musicales.

La ingeniería detrás de la velocidad

La compacidad y la velocidad se deben a una arquitectura de entrenamiento poco convencional. Stability AI descartó el enfoque tradicional y utilizó un proceso innovador de tres etapas que permitió mejorar a la vez la calidad del sonido y reducir los requisitos de cómputo:

• Flow matching en la primera etapa, para el entrenamiento base del modelo con enormes conjuntos de datos de audio de diversas fuentes
• Distillation warmup, una técnica de compresión de modelos que conserva la calidad pese a una reducción radical del tamaño del archivo
• Adversarial post-training para la mejora final del realismo y la calidad del sonido, hasta un nivel difícil de distinguir de una interpretación humana

Este enfoque en tres etapas logró un equilibrio poco habitual entre calidad y velocidad. En el aprendizaje automático tradicional, ambos requisitos suelen entrar en conflicto: la alta calidad exige modelos grandes que funcionan despacio, y la velocidad exige una compresión que pierde calidad. Stability AI encontró un punto medio.

Resultados por encima de la competencia

En el benchmark BBC Sound Effects, donde los modelos se prueban con clips de audio de 5 segundos, Stable Audio 3 medium obtuvo un FAD (Fréchet Audio Distance) de 0.369. Es una cifra inferior a la de todos los demás modelos de acceso abierto evaluados en el estudio de la compañía. La diferencia entre SA3 y su competidor más cercano es de aproximadamente un 15-20 %, lo que se considera una mejora significativa en el ámbito de los modelos generativos.

A modo de referencia, un FAD más bajo significa mejor calidad de audio. El modelo genera audio que suena más natural y más cercano a los ejemplos reales del conjunto de datos. En otras palabras, Stable Audio 3 superó a todas las soluciones abiertas de la competencia en el mercado, incluidas las versiones anteriores de los propios modelos de la compañía.

Qué significa

La generación de audio pasa de ser un nicho experimental a una herramienta práctica de trabajo. Los músicos independientes y los creadores de vídeo podrán generar música de fondo, efectos de sonido y la atmósfera que necesiten directamente en su portátil, sin depender de servicios en la nube ni de internet. La generación local también supone mayor privacidad, ya que no se envían datos a ningún servidor.

Para los estudios profesionales, supone además un menor gasto en licencias de música libre de derechos y bibliotecas de sonido. En lugar de comprar composiciones ya hechas, los desarrolladores y creadores de contenido podrán generar audio único en cuestión de minutos, con el consiguiente ahorro de dinero y del tiempo dedicado a buscar música adecuada para sus proyectos.