Исследователи из Google DeepMind представили SIMA (Scalable Instructable Multiworld Agent) — нового игрового агента, который может выполнять задачи по естественным языковым инструкциям в различных видеоиграх. Это достижение знаменует собой важный шаг в разработке универсальных ИИ-агентов, способных действовать в 3D виртуальных мирах.
Лучшие ИИ-системы традиционно тестировались на отдельных играх. Однако SIMA был обучен работать сразу в девяти разных играх, включая такие хиты, как No Man’s Sky и Teardown. Для исследования были созданы партнерства с восьми игровыми студиями, что сделало возможным применение языка для навигации и взаимодействия с игровыми объектами.
При помощи SIMA можно давать задания, например: «построй лагерь и собери ресурсы». Агент использует образы на экране и текстовые инструкции от пользователя, что позволяет ему работать даже без доступа к коду игры. На данный момент SIMA продемонстрировал успешное выполнение 600 основных навыков, что открывает возможности для сознательного взаимодействия с виртуальными средами.
Поскольку система показывает многообещающие результаты, дальнейшие исследования позволят улучшить понимание SIMA контекста и выполнение более сложных задач. Это может положительно сказаться на будущих приложениях ИИ в реальной жизни.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена