Компания ByteDance анонсировала новый фреймворк DreamActor-M1, который способен создавать реалистичные анимации людей на основе эталонных изображений. Эта новинка решает множество проблем существующих моделей анимации, обеспечивая более тонкий контроль, адаптивность и консистентность.
DreamActor-M1 разработан на основе архитектуры Diffusion Transformer (DiT) и использует гибридный подход для достижения высококачественных результатов. Модель сочетает неявные представления лиц, 3D-сферы головы и 3D-скелеты тела, что позволяет точно контролировать выражения лиц и движения. Кроме того, модель обучалась на данных с различными разрешениями и масштабами, что помогает справляться с различными позами тел и масштабами изображений.
Исследования показывают, что DreamActor-M1 превосходит другие современные модели в создании более выразительных и стабильных анимаций. Однако разработчики также подчеркивают важность соблюдения этических норм и предотвращения возможного злоупотребления технологиями. DreamActor-M1 – это значительный шаг вперед в области компьютерной анимации, хотя и имеет свои ограничения, такие как трудности с динамическими движениями камер.