Cohere explique pourquoi le ROI de l'IA est difficile à calculer, et comment s'y prendre

Cohere a publié sur son blog d'entreprise une analyse de la façon dont les sociétés peuvent calculer le retour sur investissement de l'IA. Le principe de calcul tient en une ligne : ROI = (gain financier − coût total) ÷ coût total × 100. Toute la difficulté réside dans ce qui entre au numérateur et au dénominateur. Le texte est signé d'Ariana Milligan, responsable marketing produit : il reflète donc le point de vue d'un éditeur. Mais la plupart des arguments ne dépendent pas d'un fournisseur de modèles en particulier.

Ce qu'il faut compter comme gain, et ce qu'il faut compter comme coûts

Cohere définit l'AI ROI comme le rendement financier d'un investissement rapporté au coût total de son déploiement et de son exploitation. Ce rendement passe par deux voies : des économies ou des bénéfices supplémentaires issus des ventes. La principale réserve de l'auteur : les améliorations opérationnelles ne valent pas, en elles-mêmes, de l'argent. Une tâche exécutée plus vite, un volume de production plus important ou un travail de meilleure qualité peuvent produire un effet financier, mais le ROI n'est positif que si cet effet dépasse le coût nécessaire pour l'obtenir.

Le calcul se complique parce que les coûts sont dispersés entre l'infrastructure technique et les ressources opérationnelles, et que le gain est difficile à isoler : l'IA est généralement intégrée à des processus métier plus larges. Il n'est pas toujours possible de mesurer sa contribution au résultat final.

Quatre sources d'écart entre prévision et réalité

L'auteur énumère les particularités des investissements en IA qui font le plus souvent dérailler le calcul. Dans la partie publiée du texte, elles sont au nombre de quatre :

• L'économie unitaire dépend de la charge et de l'échelle. Un contexte long, davantage de raisonnement, plus d'appels au modèle et aux outils rendent une tâche plus chère. Avec les systèmes agentiques, la dispersion est encore plus forte : des tâches similaires s'exécutent en un nombre d'étapes et de reprises très variable. Le coût par tâche mesuré en pilote peut différer de celui de la production, où la charge est plus lourde et plus diversifiée. La hausse de l'usage augmente les dépenses variables, mais peut améliorer le taux d'utilisation de capacités déjà payées.
• Le choix du modèle et du schéma de déploiement modifie l'équilibre entre prix et qualité. Les modèles coûteux sont nécessaires pour les tâches complexes, tandis que des modèles bon marché suffisent souvent pour les tâches simples. Cohere met en avant une approche de cost-aware routing : l'application utilise plusieurs modèles et envoie chaque tâche vers le moins cher de ceux qui satisfont aux exigences de qualité.
• Le déploiement influe sur la structure des coûts. Les services managés facturés à l'usage sont plus avantageux lorsque la demande est faible ou imprévisible. Les capacités dédiées, hébergées chez le fournisseur ou propres à l'entreprise, offrent une meilleure économie unitaire en cas de charge élevée et stable, mais restent inutilisées quand la demande est faible ou irrégulière. Au-delà du prix, la latence, la résidence des données, la sécurité et le contrôle opérationnel entrent en jeu.
• Les exigences de qualité et de fiabilité alourdissent les coûts opérationnels. La surveillance de la stabilité des sorties, les contrôles automatiques et le renvoi des cas douteux ou risqués vers un humain ajoutent des dépenses de calcul, d'outillage et de main-d'œuvre. Pour les agents, il faut en outre évaluer la chaîne d'appels d'outils, et pas seulement la réponse finale.

Un autre piège s'y ajoute : un gain mesuré au niveau d'une tâche isolée peut surestimer l'effet financier pour l'ensemble de l'organisation. Si une autre étape du processus reste le goulot d'étranglement, l'accélération ne fait que déplacer l'embouteillage, et le débit de bout en bout n'augmente pas. Dans le texte disponible, la suite de cette section est tronquée.

Comment l'appliquer en pratique

Ce qui suit est la conclusion de la rédaction, tirée de la logique de l'article, et non des citations de Cohere.

Premièrement : calculez le coût d'une tâche métier menée à son terme, et non le prix du token. Pour les agents, raisonnez sur la distribution plutôt que sur la moyenne : la médiane et la queue de distribution du nombre d'étapes et de reprises donnent le budget réel.

Deuxièmement : recalculez le pilote avec la charge de production avant de valider le budget. Intégrez au dénominateur l'évaluation, la supervision et la vérification manuelle, faute de quoi le ROI sera surestimé.

Troisièmement : avant d'inscrire un gain de temps parmi les bénéfices, vérifiez où se situe le prochain goulot d'étranglement du processus. Si le débit de l'ensemble du processus n'a pas augmenté, vous n'avez pas encore économisé d'argent.

Quatrièmement : comparez les schémas de déploiement en fonction du profil de la demande. Pour une charge instable, la facturation à l'usage convient ; pour une charge dense et constante, il vaut la peine de chiffrer des capacités dédiées. Les contraintes de latence, de données et de sécurité peuvent écarter certaines options avant même la comparaison des prix.