Исследователи из Google DeepMind представили SIMA (Scalable Instructable Multiworld Agent) — новый AI-агент, способный выполнять задачи в различных видеоиграх на основе естественных языковых инструкций. Это развитие является важным шагом на пути к созданию универсальных агентов, которые могут взаимодействовать с разнообразными виртуальными средами, подобно человеку.
SIMA был обучен на девяти играх, сотрудничая с восемью игровыми студиями, такими как Hello Games и Tuxedo Labs. Агент способен воспринимать изображения на экране и выполнять команды, вводимые пользователем, что делает его универсальным инструментом для взаимодействия с любым виртуальным миром.
Уникальная особенность SIMA заключается в его способности понимать инструкции и выполнять задачи, как, например, «построить лагерь». Исследование показывает, что использование языка критически важно для успешной работы SIMA. В испытаниях агент значительно превзошел специализированные системы, обученные только одной игре.
Эти достижения открывают новые возможности для реализации AI в реальном мире, позволяя создавать более полезные интерефейсы для взаимодействия с AI. Разработка SIMA — это лишь начало; в будущем планируется расширить его способности к планированию и решению более сложных задач.
компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена