Stability AI lance Stable Audio 3 pour générer de la musique rapidement

Stability AI a présenté Stable Audio 3, une nouvelle famille de modèles pour générer de la musique instrumentale et des effets sonores. Contrairement aux versions précédentes, les nouveaux modèles sont nettement plus rapides et demandent moins de ressources de calcul, ce qui rend la génération audio accessible à un public bien plus large. L'entreprise a publié les poids ouverts des modèles : les développeurs peuvent les utiliser librement et les intégrer à leurs applications.

Une qualité accessible sur n'importe quelle machine

Le principal changement de cette troisième version est la démocratisation de l'accès à la génération audio. L'entreprise a publié des poids ouverts pour deux variantes : small et medium.

La version small tourne sur le CPU d'un MacBook Pro M4, sans GPU supplémentaire. Un ordinateur portable ordinaire, comme en possède la plupart des utilisateurs dans le monde, suffit. Autrement dit, même ceux qui n'ont pas de matériel coûteux pourront générer du son et de la musique sur leurs propres appareils.

La variante medium requiert une carte graphique avec 8GB de VRAM, ce qui est le cas de la grande majorité des GPU grand public sortis ces 2-3 dernières années. Même les utilisateurs de cartes d'entrée de gamme comme la GTX 1660 ou la RTX 3060 pourront exécuter le modèle en local, sur leur propre ordinateur, sans dépendre de services cloud ni d'abonnements mensuels.

Les deux variantes génèrent de l'audio stéréo avec une fréquence d'échantillonnage de 44.1 kHz, le standard professionnel pour la musique et les effets sonores. La qualité est donc suffisante pour des projets commerciaux, y compris des films, des jeux, des podcasts et des albums de musique.

L'ingénierie derrière la vitesse

La compacité et la vitesse découlent d'une architecture d'entraînement atypique. Stability AI a abandonné l'approche traditionnelle au profit d'un processus innovant en trois étapes, qui a permis d'améliorer la qualité sonore tout en réduisant les besoins de calcul :

• Flow matching à la première étape, pour l'entraînement de base du modèle sur d'immenses jeux de données audio issus de sources variées
• Distillation warmup, une technique de compression de modèles qui préserve la qualité malgré une réduction radicale de la taille du fichier
• Adversarial post-training pour l'amélioration finale du réalisme et de la qualité sonore, jusqu'à un niveau difficile à distinguer d'une interprétation humaine

Cette approche en trois étapes a permis d'atteindre un équilibre rare entre qualité et vitesse. En apprentissage automatique classique, ces deux exigences s'opposent souvent : la haute qualité réclame de gros modèles, lents, tandis que la vitesse impose une compression qui dégrade la qualité. Stability AI a trouvé un compromis.

Des résultats supérieurs à la concurrence

Sur le benchmark BBC Sound Effects, où les modèles sont testés sur des clips audio de 5 secondes, Stable Audio 3 medium a obtenu un FAD (Fréchet Audio Distance) de 0.369. C'est inférieur à tous les autres modèles en accès ouvert testés dans l'étude de l'entreprise. L'écart entre SA3 et son concurrent le plus proche est d'environ 15-20 %, ce qui est considéré comme une amélioration significative pour les modèles génératifs.

À titre de repère, un FAD plus bas signifie une meilleure qualité audio. Le modèle produit un son plus naturel et plus proche des exemples réels du jeu de données. En d'autres termes, Stable Audio 3 a surpassé toutes les solutions ouvertes concurrentes du marché, y compris les versions précédentes des propres modèles de l'entreprise.

Ce que cela change

La génération audio quitte la niche expérimentale pour devenir un outil de travail pratique. Les musiciens indépendants et les créateurs de vidéos pourront générer de la musique de fond, des effets sonores et l'ambiance voulue directement sur leur ordinateur portable, sans dépendre de services cloud ni d'une connexion internet. La génération locale offre aussi une meilleure confidentialité, puisqu'aucune donnée n'est envoyée à des serveurs.

Pour les studios professionnels, cela signifie également moins de dépenses en licences de musique libre de droits et en bibliothèques sonores. Au lieu d'acheter des morceaux tout faits, les développeurs et les créateurs de contenu pourront générer un audio unique en quelques minutes, économisant à la fois de l'argent et le temps passé à chercher la musique adaptée à leurs projets.