NVIDIA анонсировала DreamGen, революционный двигатель, предназначенный для масштабирования обучения роботов с использованием синтетических видеоданных. Вместо того, чтобы полагаться на большие команды операторов, DreamGen генерирует обширные нейронные траектории и фотореалистичные видео роботов, прикрепленные к меткам моторных действий, позволяя обучать роботов новым задачам без физического испытания.
Эта система настраивает современные генеративные модели видео, имитируя новые сценарии с помощью языковых команд, извлекая псевдодействия и обучая модель робота на дополненной выборке данных. Так, робот освоил 22 новых поведения, включая такие сложные задания, как наливание или складывание, с нуля, показывая показатели успешности более 43% на новых задачах.
DreamGen также вводит новую площадку для оценки DreamGen Bench, направленную на исследователей моделирования видео, которые могут развивать робототехнику без физических роботов. Эта технология уменьшает необходимость в трудоемкой сборке данных, что потенциально ускоряет процесс обучения роботов.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена