Economize tokens de LLM: TOON no lugar de JSON para trabalhar com redes neurais

Ao trabalhar com modelos de linguagem (LLMs), cada token tem um custo, principalmente se você envia dados estruturados em JSON com frequência.

Como economizar tokens ao usar IA nos negócios?

Em vez de JSON, use formatos de dados mais compactos, como o TOON, que não repetem os nomes dos campos em cada registro. Isso é especialmente importante ao enviar grandes arrays de dados estruturados para pipelines de LLM, em que cada token tem um custo.

Por que o JSON é ineficiente com LLMs e redes neurais?

No JSON, os nomes dos campos se repetem em cada registro do array, desperdiçando tokens. Um array de 100 registros com os campos id, name, email, status repete esses nomes 100 vezes, em vez de uma.

O que é o TOON e como ele economiza tokens?

O TOON é um formato compacto para dados estruturados em que os nomes dos campos aparecem uma só vez, em vez de se repetirem em cada registro, como no JSON. Isso resolve o problema do consumo de tokens em pipelines de LLM.