Nvidia анонсировала открытие исходного кода своей новой технологии Audio2Face, призванной революционизировать анимацию лиц в видеоиграх и 3D-приложениях. Эта разработка использует искусственный интеллект для создания реалистичных анимаций лиц на основе звукового ввода, анализируя фонемы и интонации.
Благодаря Audio2Face разработчики смогут создавать анимационные данные, синхронизированные с речью персонажей, что открывает новые горизонты для ИИ-аватаров. Вы можете заранее визуализировать контент или использовать технологию в реальном времени для повышения эмоциональной выразительности созданных персонажей.
Nvidia также предоставила фреймворк для обучения Audio2Face, что позволяет разработчикам дорабатывать модели под конкретные цели. Это открытие помогает разработчикам и исследователям улучшать технологии, создавая сообщество вокруг этой инициативы.
Кроме того, Audio2Face уже интегрирован в продукты крупных компаний, таких как Reallusion и Codemasters, что подтверждает её востребованность в игровой и медийной индустрии.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена