Разработчики Kandinsky анонсировали открытый доступ к KVAE-2.0 — новому семейству токенизаторов, предназначенному для диффузионного моделирования изображений и видео. По данным пресс-службы «Сбера», новое решение позволяет сократить сжатие видео до четырех раз в сравнении с предшествующей версией, при этом качество восстановления изображения значительно улучшается.
Чтобы понятнее пояснить, токенизаторы преобразуют изображения и видео в компактный числовой код, называемый латентным представлением, что напрямую влияет на качество генеративных моделей. KVAE-2.0 особенно хорошо показывает семантически устойчивые представления, сохраняя важные элементы, такие как текст и лица. Это критично для таких приложений, как создание рекламного контента и образовательного материала.
Интересно, что по ключевым показателям качества KVAE-2.0 превосходит решения от Tencent и Alibaba. Новогодние возможности, открываемые данным инструментом, могут значительно ускорить и удешевить процесс обучения моделей. Денис Димитров, руководитель проекта, отметил, что доступность KVAE-2.0 поможет стартапам и независимым разработчикам не зависеть от зарубежных токенизаторов и добиваться лучших результатов в генерации контента.
Таким образом, данный проект создает новую экосистему в отечественных технологиях и способствует их развитию.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена