Yttri заменила 600 МБ нейросетевого реранкера статистическим алгоритмом YAKE! на Rust

Российская компания Yttri приняла архитектурное решение, которое идёт вразрез с текущим трендом на повсеместное внедрение нейросетей: разработчики полностью отказались от ONNX-модели bge-reranker-v2-m3 в пользу статистического алгоритма YAKE!, реализованного на Rust. Мотивация — ресурсоёмкость исходного решения, неприемлемая для local-first desktop-приложения: модель занимала около 600 МБ, потребляла до 1,8 ГБ оперативной памяти в пиковых нагрузках и создавала ощутимую нагрузку на процессор.

Детали реализации описаны в технической статье: YAKE! оперирует исключительно статистикой встречаемости терминов в тексте, не требует предварительной загрузки модели, не нуждается в прогреве и не обращается к внешним сервисам. Заявленная латентность — порядка микросекунд. Весь код интеграции в RAG-пайплайн, включая автотегирование, уложился примерно в 400 строк. При этом разработчики подчёркивают, что подход применим не ко всем задачам и имеет ограничения, которые автор подробно разбирает в материале.

Главный вывод команды — не каждая AI-задача требует ещё одной нейросети. По мере размывания границ между облачными и локальными приложениями, а также роста требований к приватности и автономности клиентских решений, подобные кейсы замены тяжёлых моделей на компактные статистические или эвристические методы могут становиться всё более востребованными. Для сегмента local-first и edge-вычислений архитектурный принцип «лучший AI-компонент — тот, который удалось удалить» приобретает практическую ценность.