FLUX.2-dev GGUF Q4_K_M на Apple Silicon: куда исчезают 29 ГБ VRAM?

Пользователи, пытающиеся запустить современную модель для генерации изображений FLUX.2-dev локально на Apple Silicon, сталкиваются с аномально высоким потреблением видеопамяти. Выбранный для экономии ресурсов квантованный формат GGUF Q4_K_M, вопреки ожиданиям, не умещается в доступную VRAM, требуя до 29 гигабайт. Это несоответствие ставит под сомнение практическую применимость модели для локального развертывания на популярном оборудовании и заставляет искать скрытые причины утечки памяти.

Проблема была обнаружена при попытке запустить модель FLUX.2-dev на оборудовании Apple Silicon. Теоретически, квантованная версия Q4_K_M должна значительно снижать требования к памяти, что делает её ключевым вариантом для пользователей с ограниченными ресурсами. Однако на практике процесс загрузки модели приводит к потреблению, которое не сходится ни с заявленными характеристиками карточек моделей, ни с информацией, распространенной в интернете. Это создает серьезное препятствие для исследователей и энтузиастов, стремящихся работать с передовыми ИИ-моделями без облачной инфраструктуры.

Аномалия указывает на потенциальные проблемы либо с реализацией загрузчика GGUF для данной конкретной архитектуры, либо с неучтенными накладными расходами самой модели FLUX.2-dev. Ситуация требует тщательного анализа со стороны сообщества разработчиков, так как ставит под вопрос эффективность квантования как метода оптимизации для новейших моделей на платформе Apple. Пока причина не найдена, локальная генерация изображений с помощью FLUX.2-dev остается недоступной для широкого круга пользователей с ограниченным объемом VRAM.