Nvidia сделала важный шаг, открыв исходный код своей технологии Audio2Face. Это решение было направлено на ускорение внедрения аватаров на базе ИИ в видеоигры и 3D-приложения.
Audio2Face анализирует звуковые характеристики, такие как фонемы и интонации, и генерирует анимационные данные, которые синхронизируют движение губ персонажа с аудио. Эти данные можно использовать как офлайн, так и в режиме реального времени для создания ИИ-персонажей с передачей эмоциональной выразительности.
Nvidia также представила инструменты для обучения Audio2Face, что позволит разработчикам и исследователям дорабатывать и настраивать модели под свои нужды. Компания призвала всех заинтересованных присоединиться к сообществу в Discord и делиться своими наработками.
Audio2Face уже активно используется в различных отраслях: от игр до обслуживания клиентов, а такие студии, как Convai и Codemasters, интегрировали эту технологию в свои продукты. Напоминаем, что компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена.