Исследователи Гонконгского университета (HKU) совместно с другими институтами разработали новый открытый фреймворк под названием OpenCUA. Эта инициатива предлагает удобные инструменты и данные для создания любых компьютерно-управляющих агентов (CUA), способных выполнять задачи на компьютере без вмешательства человека.
Модели, обученные с использованием OpenCUA, демонстрируют высокую эффективность, превосходя существующие открытые модели и подтягиваясь к уровням запатентованных решений от таких компаний, как OpenAI и Anthropic. Компьютерные агенты могут значительно упростить рабочие процессы в бизнесе, однако большинство передовых систем остаются недоступными для широкой аудитории из-за закрытых данных о методах их обучения.
Фреймворк позволяет эффективно собирать данные о действиях пользователя на различных операционных системах. Инструмент AgentNet записывает демонстрации действий, создавая структурированные данные, которые могут использоваться для обучения агентов. При этом учитываются аспекты безопасности и конфиденциальности, что делает OpenCUA подходящим для использования в компаниях, работающих с чувствительной информацией.
Результаты показали, что новые модели на основе OpenCUA могут существенно улучшить автоматизацию рутинных задач, а в будущем они могут значительно упростить взаимодействие между знаниевыми работниками и их компьютерами, позволив сосредоточиться на более стратегических целях.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена