Команды StepFun и ACE Studio представили обновлённую версию открытой модели генерации музыки ACE-Step 1.5, которая теперь интегрирована в ComfyUI. Это не просто обновление, а технологический прорыв: модель способна создавать коммерчески пригодные музыкальные треки за считанные секунды даже на обычных пользовательских видеокартах.
Одним из главных достоинств ACE-Step 1.5 является её невероятная скорость. Например, на видеокарте уровня RTX 5090 четырёхминутная композиция генерируется примерно за одну секунду. Также стоит отметить, что модель занимает менее 4 ГБ видеопамяти, что делает её доступной для большого числа пользователей.
Важно, что ACE-Step 1.5 работает локально, обеспечивая конфиденциальность данных. Это позволяет независимым музыкантам и студиям избежать подписок и скрытых ограничений.
Модель использует комбинированную архитектуру: языковая модель планирует песню, а диффузионный трансформер отвечает за синтез аудио. Кроме того, механизм Chain-of-Thought гарантирует логическую целостность трека, а дистилляция распределения второго поколения (DMD2) ускоряет процесс генерации.
Пользователи могут настроить стиль композиции через теги и маркеры, а также осуществлять LoRA-файн-тюнинг для адаптации под конкретные предпочтения. Разработчики уже анонсировали новые функции, такие как создание каверов и режим repaint.
Модель доступна по лицензии MIT, что подчеркивает её ориентированность на сообщество.
Таким образом, генерация музыки больше не привилегия крупных студий, а становится доступным инструментом для энтузиастов и инди-артистов.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена