Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarAWS Machine Learning Blog→ original

AssemblyAI réduit de 70 % ses coûts d'inférence GPU en passant aux instances Spot d'AWS

La transcription vocale sollicite tellement les GPU que maintenir des milliers de cartes graphiques aux tarifs standard d'AWS coûte trop cher. AssemblyAI a donc déplacé l'inférence sur des instances Spot, que Amazon peut récupérer en prévenant seulement deux minutes à l'avance, et a économisé 70 % par rapport à l'offre On-Demand. Les tâches attendent dans une file SQS : une transcription interrompue est simplement reprise par une autre machine. Si vos tâches sont courtes et indépendantes, ce procédé peut être reproduit presque tel quel.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AssemblyAI réduit de 70 % ses coûts d'inférence GPU en passant aux instances Spot d'AWS
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article

Lorsque vous transformez en texte des milliers d'heures d'appels, de cours et de dossiers médicaux, le principal poste de dépense n'est pas le développement du modèle, mais les cartes graphiques qui le font tourner. Chaque fichier audio traverse une chaîne de réseaux de neurones : un modèle acoustique, un modèle de langage et des étapes de post-traitement. Tout cela tourne sur des GPU NVIDIA, et pour respecter les délais promis aux clients, ces machines doivent fonctionner en continu. AssemblyAI en exploite plusieurs milliers. Les ingénieurs de l'entreprise, avec AWS, ont expliqué comment ils ont réduit leur facture de calcul de 70 %, sans compromettre les engagements de disponibilité et de rapidité.

Pourquoi Spot, et quels sont les risques

Les instances Spot sont des capacités libres d'AWS, vendues nettement moins cher que les instances On-Demand. La condition est simple : si quelqu'un d'autre a besoin de ces ressources, Amazon récupère la machine en prévenant deux minutes à l'avance. Pour un service soumis à des garanties strictes, c'est un risque sérieux, car une transcription interrompue ne doit pas être perdue.

C'est pourquoi AssemblyAI n'a pas abandonné totalement les serveurs classiques. Dans chaque cluster Amazon ECS, une stratégie à deux fournisseurs de capacité est configurée. Une couche de base en On-Demand fonctionne en permanence et absorbe la charge minimale. La couche Spot s'active lors des pics de demande : lorsque la file de tâches s'allonge, elle demande des machines supplémentaires, et lorsque la demande baisse, elle les libère avec précaution.

Trois procédés qui fondent l'économie

Le premier procédé est la diversité du matériel. Plutôt que d'utiliser un seul type de GPU, l'entreprise s'appuie sur trois familles d'instances. Les serveurs g4dn équipés de cartes T4 constituent une base économique pour les modèles de reconnaissance standard.

Les serveurs g5 avec des A10G offrent davantage de performance pour les architectures lourdes. Les serveurs g6 avec des L4 offrent le meilleur rapport prix-vitesse sur les grands modèles, y compris les solutions reposant sur de grands modèles de langage. Chaque famille puise dans son propre pool de ressources : si l'un manque de capacité, les autres restent disponibles.

Selon les auteurs, cette souplesse est le moyen le plus efficace de réduire le nombre d'interruptions. Le choix des pools concrets revient à la stratégie price-capacity optimized : AWS prend les machines là où la capacité libre est la plus abondante, tout en minimisant le prix.

Le deuxième procédé est la file de tâches. Une demande de transcription arrive dans Amazon SQS, et les tâches GPU viennent y puiser du travail. Une tâche typique dure de 15 secondes à quelques minutes. Lorsqu'un avis d'interruption arrive, EventBridge déclenche une fonction Lambda. Les tâches qui peuvent se terminer dans les deux minutes se achèvent normalement. Les autres retournent dans la file, et une autre machine les reprend, éventuellement d'un autre type ou dans une autre zone de disponibilité. Les tâches ayant épuisé leur nombre de tentatives sont placées dans une file distincte pour analyse. Pour le client, cela se traduit par une petite latence : le résultat finit tout de même par arriver.

Le troisième procédé est le lancement rapide. Pour qu'un remplacement apparaisse sans longue attente, l'entreprise prépare à l'avance ses propres images de machines (AMI) contenant les modèles et les conteneurs. Selon AWS, la préparation prend environ deux minutes.

Les données restent dans leur région

Parmi les clients d'AssemblyAI figurent de nombreuses entreprises des secteurs de la santé, de la finance et du juridique, pour lesquelles l'audio ne peut pas sortir d'une zone géographique définie. Chaque région fait donc fonctionner une copie entièrement indépendante de l'architecture, avec ses propres files, clusters et parcs de GPU. L'article cite l'Oregon (us-west-2) et Londres (eu-west-2). Les familles de GPU nécessaires sont également disponibles dans les régions européennes, à des prix Spot acceptables.

Ce qu'on peut en retenir

Le bilan, selon AWS : une économie de 70 % sur le calcul d'inférence par rapport à l'On-Demand. Dans le même temps, la charge a presque quadruplé en un an, tandis que l'économie par unité de calcul est restée stable.

Des réserves existent. Le texte est publié sur le blog d'AWS lui-même et ne décrit qu'un seul cas, sans données sur la part des interruptions, sur les latences dans le pire des cas, ni sur la part du parc couverte par la couche On-Demand de base. Le chiffre de 70 % doit être considéré comme un ordre de grandeur, non comme une garantie. Le procédé ne convient d'ailleurs pas à tous. Il fonctionne pour des tâches courtes qu'on peut relancer sans risque. Pour un entraînement long sans points de contrôle, ou un dialogue en temps réel où un redémarrage est visible par l'utilisateur, l'architecture devra être revue.

Voici la démarche pratique pour une équipe confrontée à une charge similaire. Commencez par répartir les tâches sur plusieurs familles de GPU et plusieurs tailles, puis vérifiez la disponibilité des Spot grâce aux placement scores. Séparez ensuite la réception des requêtes de leur exécution au moyen d'une file, et configurez la remise en file des tâches en cas d'interruption. Ajoutez une file dédiée aux tâches irrécupérables, ainsi que des métriques sur les interruptions. Enfin, accélérez le lancement des nouvelles machines grâce à des images préparées. L'idée est de considérer la perte d'un serveur comme un événement ordinaire, et non comme un incident.

Dossier

Questions clés sur cet article

Pourquoi Spot, et quels sont les risques?

Les instances Spot sont des capacités libres d'AWS, vendues nettement moins cher que les instances On-Demand. La condition est simple : si quelqu'un d'autre a besoin de ces ressources, Amazon récupère la machine en prévenant deux minutes à l'avance. Pour un service soumis à des garanties strictes, c'est un risque sérieux, car une transcription interrompue ne doit pas être perdue. C'est pourquoi AssemblyAI n'a pas abandonné totalement les serveurs classiques.

Que sait-on sur Trois procédés qui fondent l'économie ?

Le premier procédé est la diversité du matériel. Plutôt que d'utiliser un seul type de GPU, l'entreprise s'appuie sur trois familles d'instances. Les serveurs g4dn équipés de cartes T4 constituent une base économique pour les modèles de reconnaissance standard. Les serveurs g5 avec des A10G offrent davantage de performance pour les architectures lourdes. Les serveurs g6 avec des L4 offrent le meilleur rapport prix-vitesse sur les grands modèles, y compris les solutions reposant sur de grands modèles de langage.

Que sait-on sur Les données restent dans leur région ?

Parmi les clients d'AssemblyAI figurent de nombreuses entreprises des secteurs de la santé, de la finance et du juridique, pour lesquelles l'audio ne peut pas sortir d'une zone géographique définie. Chaque région fait donc fonctionner une copie entièrement indépendante de l'architecture, avec ses propres files, clusters et parcs de GPU. L'article cite l'Oregon (us-west-2) et Londres (eu-west-2). Les familles de GPU nécessaires sont également disponibles dans les régions européennes, à des prix Spot acceptables.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…