«Russian Winter 26»: Как взломали архитектуру китайской нейросети GLM-5.1 для запуска на 16 ГБ VRAM

Команда исследователей провела радикальную «лоботомию» 744-миллиардной китайской нейросети GLM-5.1, чтобы заставить её работать на бесплатной виртуальной машине с единственной видеокартой NVIDIA T4. Операция под кодовым названием «Russian Winter 26» представляет собой экстремальный случай MLOps, где ограниченные аппаратные ресурсы потребовали глубокого вмешательства в саму архитектуру модели.

Для запуска гигантской модели на скромных 16 ГБ видеопамяти команде пришлось вскрыть и переписать внутреннюю математику матриц внимания GLM-5.1. Ключевым препятствием стали хардкодные ограничения механизма группового запроса внимания (GQA), которые были успешно обойдены. Это позволило пересобрать ядро модели так, чтобы оно смогло сделать «первый вдох» на общедоступном и бесплатном железе платформы Kaggle, без использования дорогостоящих ферм.

Успех операции «Russian Winter 26» демонстрирует нестандартный подход к развертыванию сверхбольших языковых моделей и создает прецедент для их адаптации в условиях жестких ресурсных ограничений. Методика, описанная авторами, может оказать давление на традиционные парадигмы MLOps, указывая на возможность глубокой оптимизации и «усадки» моделей-гигантов для работы в нетипичных средах.