Исследователи разработали Robotic Transformer 2 (RT-2), продвинутая модель, которая объединяет визуальные и языковые данные для управления роботами. Эта нейросеть учится как на веб-данных, так и на данных о роботах, что позволяет ей интерпретировать команды и выполнять задачи на уровне, аналогичном человеку.
RT-2 построена на базе предыдущей модели RT-1 и демонстрирует значительное улучшение в понимании визуальной и семантической информации. Например, она способна выполнять сложные задачи, как выбирать подходящий физический объект для определенной цели — скажем, найти камень, чтобы использовать его как молоток.
Модель была протестирована на более чем 6000 испытаниях, где продемонстрировала улучшенную производительность, в том числе при взаимодействии с новыми объектами и средами, которые не входили в первоначальный тренировочный набор. Это открывает захватывающие возможности для создания универсальных роботов, способных к решению множества реальных задач.
Преимущества RT-2 также включают использование цепочек размышлений для планирования действий, что придаёт роботам способность к долгосрочному планированию и совместной работе с пользователями. Без сомнения, этот шаг открывает новые горизонты в робототехнике и искусственном интеллекте.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена