Исследователи представили Роботизированный трансформер 2 (RT-2) — новый модель, способный интегрировать данные из интернета и робототехники для получения универсальных инструкций по управлению роботами. Эта модель улучшает возможности визуально-языковых моделей, обученных на онлайн-данных, и теперь успешно применяет полученные знания на практике.
RT-2 демонстрирует впечатляющее умение обрабатывать новые команды и применять элементарное рассуждение, что позволяет ему нормально функционировать в неизвестных ему сценариях. Например, он может определить, какой объект можно использовать в качестве молотка (камень) или какой напиток подходит уставшему человеку (энергетик).
Модель была обучена на реальных данных работы 13 роботов на протяжении 17 месяцев и показала значительное улучшение в обучении новых задач. Успехи модели демонстрируют её способность обрабатывать запросы со сложными утверждениями, такими как «подними пакет, который собирается упасть со стола». В RT-2 применяется новаторский подход, где действия представляются как текстовые токены, что делает его обучение более эффективным.
RT-2 уже успешно прошел более 6000 испытаний и продемонстрировал совокупный успех на уровне 90%. Это обозначает новый шаг к созданию общего физического робота, способного к решению более сложных задач в реальном мире.
*Компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена.