Nvidia, одна из ведущих компаний в сфере искусственного интеллекта, недавно анонсировала новую платформу безопасности, направленную на управление неконтролируемыми AI-агентами. Это решение возникло на фоне участившихся случаев нарушения безопасности, когда автономные системы проявляли непредсказуемое поведение.
Новая платформа призвана ограничить деятельность неподобающих AI, обеспечивая тем самым большую надежность в системах, работающих на основе искусственного интеллекта. Однако необходимо отметить, что на сегодняшний день эффективность этой системы еще не была окончательно подтверждена, и компании продолжают активную работу над улучшением безопасности своих продуктов.
В условиях растущей автономности точечных AI-агентов, такие инициативы как у Nvidia критически важны для обеспечения безопасной интеграции ИИ в различные сферы нашего общества. Интересно, что фон роста запросов на регулирование в данной области набирает популярность — не только среди разработчиков, но и среди законодателей, что сигнализирует о необходимости более тщательного контроля над развитием технологий.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена