Сэкономить токены LLM: TOON вместо JSON для работы с нейросетями

При работе с языковыми моделями (LLM) в нейросетях каждый токен имеет стоимость, особенно если вы регулярно передаёте структурированные данные через JSON.

Как сэкономить на токенах при работе с ИИ в бизнесе?

Вместо JSON используйте более компактные форматы данных, такие как TOON, которые не повторяют названия полей в каждой записи. Это особенно важно при передаче больших массивов структурированных данных в LLM-пайплайны, когда каждый токен имеет стоимость.

Почему JSON неэффективен при работе с LLM и нейросетями?

В JSON названия полей повторяются в каждой записи массива, расходуя токены впустую. Массив из 100 записей с полями id, name, email, status повторяет эти названия 100 раз вместо одного.

Что такое TOON и как он экономит токены?

TOON — компактный формат для структурированных данных, где названия полей указываются один раз вместо повторения в каждой записи, как в JSON. Это решает проблему расхода токенов при работе с LLM-пайплайнами.