Компания OpenAI готовится к запуску своего нового модели Astra, которая, по их словам, является первым крупным языковым моделью, соответствующей «критическому порогу кибербезопасности». Astra имеет способность выявлять неизвестные уязвимости в компьютерных системах и эксплуатировать их без человеческого вмешательства.
Astra успешно прошла тест ExploitBench, продемонстрировав исключительные способности к взлому известных уязвимостей. В ходе изменений теста, разработанного инженерами OpenAI, модель открыла и использовала две нулевые уязвимости.
На старте Astra будет доступна с ограниченными возможностями для обеспечения большей безопасности. OpenAI улучшает систему мониторинга, чтобы предотвратить злоупотребления и ограничить ответные действия модели для высокорисковых аккаунтов. Важной особенностью Astra является ее способность к «мониторингу цепочки мыслей» для выявления недопустимого поведения.
Хотя OpenAI продолжает готовиться к более широкому запуску, также остаются вопросы о сотрудничестве с правительством США и о том, как выбранные тестировщики будут отбираться. Ожидается, что дополнительная информация о безопасности и оценках будет опубликована при официальном релизе модели.
Кроме того, OpenAI запустила инициативу Daybreak, направленную на интеграцию киберзащиты в разработки программного обеспечения, что позволяет сократить время анализа уязвимостей.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена