OpenAI временно остановила масштабирование своих новых ИИ-моделей и на две недели приостановила обучение с подкреплением (RL) для систем, которые планировались к развертыванию. Это решение стало следствием недавних инцидентов, в том числе с Hugging Face, и результатов тестирования модели Astra, что подняло вопросы о потенциальных уязвимостях.
Важно, что с повышением возможностей моделей растут и риски их использования. OpenAI усилила методы мониторинга и ограничения на всех этапах разработки. В частности, была улучшена изоляция сред, где работают модели, а также сокращены права доступа и обеспечены более строгие меры безопасности.
Кроме того, разработчики вводят новые стандарты мониторинга, которые способны устанавливать подозрительное поведение моделей в режиме реального времени. Эти изменения показывают, что безопасность и этика становятся первоочередными при разработке ИИ.
Грег Брокман из OpenAI подчеркнул, что инциденты показали недооценку кибервозможностей их систем, и призвал другие компании активно использовать ИИ в анализе безопасности, но при этом сохранять контроль человека.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена