Économiser des tokens de LLM : TOON plutôt que JSON pour travailler avec les réseaux de neurones

Quand on travaille avec des modèles de langage (LLM), chaque token a un coût, surtout si l'on transmet régulièrement des données structurées en JSON.

Comment économiser des tokens en utilisant l'IA en entreprise ?

Au lieu de JSON, privilégiez des formats de données plus compacts, comme TOON, qui ne répètent pas les noms de champs dans chaque enregistrement. C'est particulièrement important lorsqu'on envoie de gros tableaux de données structurées à des pipelines de LLM, où chaque token a un coût.

Pourquoi JSON est-il inefficace avec les LLM et les réseaux de neurones ?

En JSON, les noms de champs se répètent dans chaque enregistrement du tableau, ce qui gaspille des tokens. Un tableau de 100 enregistrements avec les champs id, name, email, status répète ces noms 100 fois au lieu d'une seule.

Qu'est-ce que TOON et comment économise-t-il des tokens ?

TOON est un format compact pour les données structurées, dans lequel les noms de champs sont indiqués une seule fois au lieu d'être répétés dans chaque enregistrement, comme en JSON. Cela règle le problème de consommation de tokens dans les pipelines de LLM.