Разработчик Cloud.ru заменил JSON на TOON в промптах LLM и сократил расход токенов на 40%

Фронтенд-разработчик из Cloud.ru, ежедневно работающий с API языковых моделей, обнаружил, что значительная часть бюджета на токены тратится впустую. Эти расходы уходили не на полезные данные, а на служебные символы JSON — фигурные скобки, кавычки и повторяющиеся ключи в структурированных промптах с товарами, логами и метриками.

В поисках оптимизации разработчик протестировал альтернативный формат TOON. Результат оказался значительным: замена JSON на TOON в промптах для больших языковых моделей позволила сэкономить около 40% токенов на одних и тех же данных. Этот эксперимент напрямую демонстрирует, как технический выбор формата данных влияет на финансовые затраты при коммерческом использовании LLM, где каждый токен имеет свою цену.

Случай из Cloud.ru указывает на потенциально широкую проблему неэффективности в индустрии. Для компаний, массово интегрирующих LLM в свои продукты, подобная оптимизация может привести к существенному снижению операционных расходов. Это создает давление для пересмотра устоявшихся практик работы с API и стимулирует поиск более компактных способов передачи контекста моделям, выходящих за рамки стандартного JSON.