Inkling 2 Small consomme 150K tokens par tâche, soit 4 fois plus que son prédécesseur

Lorsqu’on choisit un modèle pour la production, le premier réflexe consiste à consulter le tarif par million de tokens. C’est une métrique pratique, mais trompeuse. Les nouvelles données d’Artificial Analysis montrent bien pourquoi.

Ce que montrent les mesures

Lors de l’exécution de l’Intelligence Index, le modèle Inkling 2 Small génère en moyenne environ 150 000 tokens de sortie pour une seule tâche. Pour le précédent Inkling Small, ce chiffre était d’environ 37 000, soit une multiplication par quatre. À titre de comparaison, Gemini 3.8 Flash en mode high produit près de 99 000 tokens, tandis que Claude Sonnet 5.5 en mode medium en génère environ 31 000.

Il est important de préciser qu’il s’agit des tokens de sortie, c’est-à-dire du raisonnement et de la réponse. Ce sont généralement eux qui coûtent le plus cher par rapport aux tokens d’entrée et qui déterminent le temps d’attente.

Pourquoi cela compte en pratique

Imaginez que vous développiez un agent chargé de traiter des tickets d’assistance. Le modèle A coûte deux fois moins cher par token, mais consomme quatre fois plus de tokens pour chaque ticket. Au final, il revient deux fois plus cher et répond en outre nettement plus lentement. L’utilisateur ne voit pas le tarif : il voit les secondes d’attente et la facture à la fin du mois.

Il en va de même pour les limites : les longues chaînes de raisonnement atteignent plus rapidement la fenêtre de contexte et les limites de débit du fournisseur. Les scénarios agentiques, dans lesquels le modèle est appelé des dizaines de fois de suite, amplifient cet effet de manière exponentielle.

Comment composer avec cette réalité

Premièrement, comparez les modèles selon le coût d’une tâche accomplie, et non selon le prix d’un token. Artificial Analysis publie justement ce type de ventilation, mais les résultats peuvent différer avec vos propres données.

Deuxièmement, vérifiez s’il est possible de plafonner le budget de raisonnement. Si le modèle propose des modes ou des paramètres de profondeur de réflexion, exécutez vos tâches à plusieurs niveaux et observez à quel moment la qualité cesse de progresser.

Troisièmement, intégrez à votre suivi la moyenne et le p95 du nombre de tokens de sortie. Une forte hausse après la mise à jour d’une version du modèle peut facilement passer inaperçue, mais elle apparaîtra immédiatement dans le budget.

Limites

La publication ne précise pas dans quelle mesure le score de l’Intelligence Index a progressé parallèlement à la consommation de tokens. Si le gain de qualité est substantiel, une consommation multipliée par quatre peut se justifier pour les tâches complexes. Dans le cas contraire, il s’agit simplement d’un modèle plus verbeux. Par ailleurs, cette valeur est une moyenne issue du benchmark, et vos tâches peuvent se comporter différemment. La publication elle-même a enregistré peu de vues et ne présente que les chiffres, sans méthodologie ; pour obtenir une vision complète, mieux vaut donc consulter le site d’Artificial Analysis.

Conclusion

Le prix par token n’est plus une métrique fiable à lui seul. L’efficacité en tokens doit être évaluée au même titre que la qualité et la latence, en particulier si vous concevez des agents ou des pipelines à grande échelle. Avant de migrer vers Inkling 2 Small, il convient d’exécuter votre propre jeu de tâches et de comparer le coût total ainsi que le temps de réponse avec Sonnet 5.5 et Gemini 3.8 Flash.