1. Разработчик Cloud.ru заменил JSON на TOON в промптах LLM и сократил расход токенов на 40%
Фронтенд-разработчик из Cloud.ru, ежедневно работающий с API языковых моделей, обнаружил, что значительная часть бюджета на токены тратится впустую. Эти расходы уходили не на полезные данные, а на служебные символы JSON — фигурные скобки, кавычки и повторяющиеся ключи в структурированных промптах с товарами, логами и м...