Команда Generative Media недавно представила свою инновационную технологию Video-to-Audio (V2A), которая добавляет звуковые дорожки к беззвучным видео. Эта система объединяет пиксели видео с текстовыми подсказками, создавая богатые звуковые ландшафты, которые синхронизируются с изображением. Теперь, вместо молчаливых клипов, можно создавать звуковые эффекты, диалоги и музыкальное сопровождение, которые гармонируют с происходящим на экране.
V2A уже совместима с видеогенераторами, такими как Veo, что открывает новые креативные возможности для создания архивных материалов и немых фильмов. Уникальность V2A в том, что она не требует ручной синхронизации звука и изображения, что значительно упрощает процесс.
Тем не менее, проект все еще сталкивается с определенными вызовами, включая улучшение синхронизации губ и ограничения, связанные с качеством входного видео. Команда активно работает над этими аспектами, и собирает отзывы от создателей, чтобы сделать технологию максимально эффективной.
Также V2A будет подвергаться строгим тестированиям перед широким запуском, что подчеркивает ответственность разработчиков в использовании ИИ.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена