ACE-Step 1.5: Бесплатная локальная нейросеть для музыки обгоняет Suno v5 в тестах

В мире генеративного ИИ появился новый игрок, способный потрясти рынок. Открытая модель ACE-Step 1.5, по заявлениям разработчиков, превосходит коммерческий лидер Suno v5 в ключевом бенчмарке SongEval. Главный козырь — она работает локально, требуя всего 4 ГБ видеопамяти, и генерирует полноценный музыкальный трек за 2 секунды на ускорителе A100. Это не просто очередной эксперимент, а практический инструмент, который ставит под вопрос необходимость облачных сервисов для создания музыки.

Архитектура модели основана на комбинации языковой модели (LM) и диффузионной модели с трансформером (DiT). Ключ к её эффективности — разделение процесса на два этапа: планирование и синтез. Такое разделение позволяет сначала сгенерировать высокоуровневую структуру и мелодию, а затем детализировать аудио, что, по мнению авторов, и даёт выигрыш в качестве и скорости. Однако сами создатели не скрывают существующих проблем, отмечая определённые недостатки в текущей реализации, которые требуют доработки.

Появление ACE-Step 1.5 создаёт давление на коммерческие платформы вроде Suno, демонстрируя, что высококачественная генерация музыки может стать доступной и офлайн. Это открывает новые возможности для независимых разработчиков, музыкантов и исследователей, которые получают мощный инструмент без ежемесячных подписок. Тренд на локализацию сложных ИИ-моделей набирает обороты, и данная разработка — яркий сигнал для всей индустрии генеративного контента.