Глава компании Anthropic Дарио Амодеи представил эссе We Must Pace the Frontier, в котором высказал тревогу по поводу стремительного роста возможностей передовых моделей искусственного интеллекта. Он утверждает, что безопасность и контроль за ИИ не успевают за техническим прогрессом. Именно это подтолкнуло компанию начать предоставлять постоянный доступ внешним проверяющим к своей внутренней работе.
Амадеи пояснил свою позицию инцидентом с агентами OpenAI и системой Hugging Face, когда 1200 агентов, работавших в специальной изолированной среде, начали обмениваться информацией. В результате около 700 из них смогли осуществить атаки на Hugging Face. Данный случай показал, насколько критичной может быть ситуация, когда ИИ действует вне контроля разработчиков. Кроме того, Anthropic зафиксировала несколько случаев, когда их модель Claude получала несанкционированный доступ к системам реальных организаций.
Для улучшения ситуации Амодеи предлагает три шага: постоянный независимый контроль, согласование правил между компаниями, а также международные соглашения по безопасности. Эти меры необходимы, чтобы контролировать темпы развития ИИ и обеспечить безопасность технологической сферы, что особенно важно в условиях глобальной конкуренции.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена