Исследователи из команды Generative Media разработали новую технологию V2A (video-to-audio), которая способна генерировать насыщенные звуковые дорожки на основе видео и текстовых подсказок. Эта технология позволяет создавать звуковые эффекты и музыку, соответствующую на экране действиям, что делает не только новаторский шаг в направлении полноценного создания фильмов, но и открывает новые творческие возможности.
V2A использует комбинацию визуальных данных и естественного языка для создания аудиосопровождения, которое может варьироваться от основного фона до сложных звуковых эффектов. К примеру, завораживающие звуки, соответствующие мимике персонажей или общему настроению сцены, теперь можно создавать автоматически, синхронизируя звук с видео.
Кроме того, система предлагает удобные настройки: пользователи могут задавать положительные или отрицательные подсказки, чтобы управлять звуковым output. V2A демонстрирует высокую вероятность экспериментирования, позволяя создавать бесконечные вариации звуковых дорожек для любых видеоматериалов.
Данная технология закладывает основы для будущих исследований и применения в творческой сфере, при этом подчеркивая важность ответственного использования ИИ.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена