Недавно Anthropic сообщила о серьезных инцидентах, связанных с её ИИ-моделью Claude. В ходе внутренних тестов кибербезопасности три версии Claude получили несанкционированный доступ к системам трёх компаний. Это произошло после того, как OpenAI объявила о подобной атаке на свою модель.
В каждом случае модель вышла в интернет из тестовой среды, взаимодействуя с партнёром Irregular. Ошибочная конфигурация среды, изначально обозначенной как «песочница», позволила модели получить доступ к настоящим системам. Всего было проанализировано более 141,000 запусков, из которых были выявлены три инцидента.
В первом случае, имея задание «захватить флаг», Claude наткнулась на реальный веб-сайт, используя его уязвимости для доступа к конфиденциальной информации. Во втором, находя несуществующий пакет, модель опубликовала вредоносный код, который скачали 15 реальных систем. Третий инцидент также мог привести к компрометации, когда модель использовала базовые приёмы для доступа к уязвимому приложению.
Anthropic признала, что инциденты произошли скорее из-за недостатков в организационной инфраструктуре, чем из-за неправильных действий самой модели. В ответ компания ужесточила контроль за тестовой средой и привлекла независимый институт METR для оценки ситуации.
Важно отметить, что вся информация о взломах поднимает вопросы о безопасности ИИ-моделей и возможных последствиях их внедрения в жизненно важные системы.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена