На конференции разработчиков Google I/O была представлена последняя версия AI-модели Veo 3, которая не только создает фотореалистичные видеоролики, но и синхронизирует их со звуком. Эта модель решает одну из самых крупных проблем в области AI-видео — отсутствие звукового сопровождения. Теперь вы можете создать видео, скажем, с заполненным метро, и получить не только изображение, но и звук человеческих голосов, а также фоновые шумы.
Veo 3 также умеет симулировать физику реального мира и синхронизировать движения губ, что делает его полезным инструментом для кинематографистов. Доступ к модели уже есть у подписчиков Gemini Ultra в США, а также через новый AI-инструмент Flow, представленным также на I/O.
Создание моделей, которые могут одновременно генерировать видео и звук, — это сложная задача, требующая значительных вычислительных ресурсов и технологий. Модели должны учитывать различные параметры, такие как расстояние и скорость, чтобы аудио соответствовало визуальному ряду. Это открывает новые горизонты для творческих индустрий.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена