Прекратить расточительство: компактный TOON вместо неэффективного JSON в LLM-пайплайнах
JSON расточительно расходует токены в LLM-пайплайнах из-за повторяющихся названий полей. TOON (Token-Oriented Object Notation) — компактный формат, который сокр
Языковые модели работают с токенами, и каждый токен имеет стоимость. Если вы регулярно передаёте структурированные данные в LLM-пайплайны, вы, вероятно, используете JSON. Но JSON может быть неэффективным: названия полей повторяются в каждой записи, расходуя драгоценные токены впустую. TOON — альтернатива, которая решает эту проблему.
Почему JSON тратит токены впустую JSON — универсальный формат для
структурированных данных, но для работы с LLM его недостатки становятся критичными. Представьте массив из 100 записей о клиентах, где каждая содержит поля: id, name, email, status. В JSON каждая запись повторяет все эти названия полей, хотя их можно указать один раз. Простой пример: JSON требует повторения названий в каждом объекте. TOON решает это по-другому — задаёт структуру один раз, затем передаёт только значения. Это может дать сокращение 30–50% токенов для больших наборов данных.
Где TOON особенно полезен TOON эффективнее всего при работе с однородными данными: *
Массивы записей — таблицы CRM, логи, результаты запросов БД Support tickets — все билеты имеют одинаковую структуру (автор, тема, статус) Каталоги товаров — SKU, цена, описание, наличие повторяются в каждой позиции * Агентская память — истории взаимодействий, где каждая запись следует одному шаблону ## Стратегия внедрения Не нужно переходить на TOON полностью. Оптимальный подход: храните данные в JSON (привычно, масштабируемо), перед отправкой в LLM конвертируйте в TOON, получите ответ от модели, сохраняйте в исходном формате. Это требует минимальных изменений, но даёт значительную экономию токенов.
Ключевой совет: прежде чем перейти на TOON, бенчмаркируйте свой пайплайн.
Сравните количество токенов, латентность, качество ответов и финальную стоимость. Экономия может быть существенной, а может быть несущественной — всё зависит от данных.
Что это значит TOON — не революция, а практический инструмент для оптимизации расходов на LLM.
Если вы работаете с большими объёмами структурированных данных, переход на компактный формат может снизить счета на 20–40%. Начните с тестирования на одном пайплайне, измерьте реальный результат, а затем масштабируйте подход. В эру дорогих моделей каждая экономия токена имеет значение.