NVIDIA представила DreamGen, новый движок, который помогает роботам обучаться, используя синтетические видеоданные, а не полагаясь на большие команды операторов. Технология генерирует обширные нейронные траектории и фотореалистичные видео роботов с метками моторных действий, обучая их новым задачам без физического испытания.
По словам Джима Фэна, со-видео проекта GR00T & GEAR Lab в NVIDIA, DreamGen дает роботам возможность «мечтать» внутри видеогенеративной модели, создавая «массовые объемы нейронных траекторий», что позволяет им успешно выполнять новые действия и адаптироваться к новым окружениям.
С использованием DreamGen робот смог обучиться 22 новым действиям, таким как наливание и сгибание, без предварительного обучения. Движок также справляется с сложными физическими взаимодействиями, включая деформируемые объекты и жидкости, благодаря диффузной нейронной сети.
Исследование заняло восемь месяцев и стало значительным шагом к обучению роботов различным навыкам на основе цифровых данных, что потенциально сократит необходимость в трудоемком сборе данных.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена