Allen Institute for AI (Ai2) представил MolmoAct 2, новую модель робототехники с открытым исходным кодом, которая направлена на улучшение выполнения физически сложных задач в реальном мире. Эта модель стала значительным улучшением по сравнению с предыдущей MolmoAct, отражая растущую тенденцию к разработке более универсальных роботов, способных адаптироваться к изменяющимся условиям без громоздкого программирования.
MolmoAct 2 использует архитектуру «Action Reasoning Model», позволяющую системам рассуждать о трехмерных окружениях перед выполнением действий. В отличие от традиционных моделей, MolmoAct 2 может выполнять множество манипуляционных задач, таких как складывание полотенец и сортировка объектов, без предварительной настройки под каждую задачу.
Кроме того, новая модель значительно ускорила производительность, сокращая время ответа до 180 мс. Ai2 также выпустила набор данных MolmoAct 2-Bimanual YAM, который содержит более 720 часов демонстраций манипуляций.
Первые тесты на базе Franka robot arm продемонстрировали высокую успешность в выполнении манипуляционных задач, таких как перемещение образцов.
Однако, как признает Ai2, MolmoAct 2 все еще имеет ограничения и требует дообучения на других платформах. Тем не менее, этот релиз подчеркивает стремительное развитие открытых моделей в робототехнике, способных функционировать более гибко в реальном мире.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена