Команда RoboCat представила новый продвинутый агент, который научается управлять различными роботами и адаптироваться к новым задачам всего после 100 демонстраций. Это достижение стало возможным благодаря способности RoboCat генерировать новые тренировочные данные самостоятельно, что существенно сокращает время, необходимое для обучения. В отличие от традиционных моделей, RoboCat может изучить новую задачу, используя обширный и разнообразный набор данных.
Агент основан на многомодальной модели Gato, которая позволяет обрабатывать язык, изображения и действия как в симуляциях, так и в реальном мире. После первоначальной тренировки RoboCat попадает в цикл самообучения, где каждый новый набор задач проходит через несколько этапов, что делает его обучение более эффективным.
С каждым новым освоенным заданием RoboCat становится все более универсальным, улучшая свои навыки в управлении различными типами манипуляторов. Например, после всего 1000 демонстраций человекоподобные задачи, такие как вынимание фрукта из чаши или решение головоломки, стали для него под силу. Такой прогресс в обучении роботов во многом открывает двери к созданию универсальных помощников, которые смогут более эффективно выполнять множество задач.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена