Together AI multiplie par 3000 les limites de sa Batch Inference API et réduit ses prix de 50 %

Together AI a mis à jour sa Batch Inference API, un service qui permet de traiter un grand nombre de requêtes vers des modèles LLM en exécution différée. L'entreprise annonce trois améliorations majeures : des limites multipliées par 3000, une baisse de prix de 50 % et une interface repensée pour simplifier l'usage.

Passer à l'échelle sans goulots d'étranglement

Le principal changement concerne les limites. Le plafond était auparavant de 10 millions de tokens par utilisateur et par modèle ; il atteint désormais 30 milliards. Ce n'est pas qu'un chiffre : il résout un problème d'architecture auquel se heurtent les entreprises qui traitent des jeux de données gigantesques.

Jusqu'ici, on gérait les gros volumes de façon simple : découper le jeu de données en morceaux, créer de nombreuses petites tâches batch, suivre chacune séparément et coordonner les résultats. C'était peu pratique, long et coûteux. Il est maintenant possible de charger tout le jeu de données en une seule opération et d'obtenir le résultat dans un SLA de 24 heures, souvent bien plus vite.

La tarification a été revue en parallèle. Le traitement batch coûte désormais environ deux fois moins cher que l'API temps réel pour un même volume de calcul. Quand on parle de milliards de tokens, l'écart de prix pèse sur le budget des projets.

N'importe quel modèle, une interface simple

L'API fonctionne désormais avec les 40+ modèles de la plateforme Together, y compris les déploiements privés. Auparavant, le choix se limitait à quelques modèles, ce qui pénalisait les équipes souhaitant expérimenter et tester différents modèles en mode batch.

L'interface a été entièrement refaite. Il fallait avant écrire des appels d'API, comprendre la documentation et déboguer du code. Tout se fait maintenant dans une application web : création de la tâche, suivi de la progression, téléchargement des résultats. Quelques clics suffisent. Cela abaisse la barrière d'entrée pour les équipes qui ne veulent pas écrire du code pour chaque requête batch.

À qui cela s'adresse

• Analyse de sentiment et classification de textes sur des millions de documents
• Détection de transactions frauduleuses : analyse de millions de paiements et d'opérations
• Génération synthétique de données pour entraîner de nouveaux modèles
• Vectorisation de grands corpus de textes (génération d'embeddings)
• Modération de contenu sur les réseaux sociaux et les plateformes de contenu généré par les utilisateurs (UGC)
• Tests de benchmark pour évaluer et comparer la qualité des modèles

Un exemple concret : le laboratoire Inception Labs utilise déjà l'API batch comme socle de son workflow de production. Selon son cofondateur Vladimir Kuleshov :

« Nous nous appuyons sur la Batch Inference API pour traiter de très gros volumes de requêtes.

Les limites élevées nous permettent de lancer des expériences gigantesques sans goulots d'étranglement. Les tâches se terminent nettement plus vite que le SLA de 24 heures, souvent en quelques heures. »

Ce que cela change pour l'industrie

L'inférence batch quitte la niche des spécialistes pour devenir un outil grand public. Les coûts élevés et la complexité technique constituaient jusqu'ici un obstacle sérieux. Seuls les grands laboratoires de recherche, les projets publics et les grandes entreprises pouvaient s'offrir le traitement batch. Désormais, les startups et les équipes de taille moyenne accèdent aux mêmes outils.

La baisse de prix de 50 % et la hausse des limites d'un facteur 3000 lèvent les principaux freins à une adoption massive. En 2025, on s'attend à une forte hausse de l'usage de l'inférence batch dans les applications de production, de la modération de contenu à l'échelle réelle à la synthèse de gros volumes de données d'entraînement pour le fine-tuning de ses propres modèles.