Команда безопасности и конфиденциальности Google DeepMind опубликовала новый отчет, в котором описываются усилия по повышению безопасности их модели Gemini 2.5, которая стала самой защищенной в своем классе. Модели, такие как Gemini, всё чаще используются для выполнения задач, требующих доступа к личной информации пользователей, например, для суммирования электронной почты. Однако это также делает их целью для кибератак, таких как внедрение косвенных команд, когда злоумышленники пытаются манипулировать моделью с помощью злонамеренных инструкций, скрытых в данных.
В новом докладе, озаглавленном ‘Уроки защиты Gemini от косвенного внедрения команд’, рассматриваются стратегии, направленные на борьбу с такими атаками. Используя автоматизированные системы, команда DeepMind занимается поиском уязвимостей в Gemini и улучшает ее защитные механизмы. Ключевая задача заключается в создании ‘моделей жесткости’, которые позволяют моделям игнорировать злонамеренные инструкции, сохраняя при этом высокую производительность для нормальных задач.
Несмотря на улучшения, ни одна модель не может гарантировать полную защиту, поэтому DeepMind постоянно работает над усовершенствованием своих защитных механизмов, чтобы сделать атаки более сложными и затратными для злоумышленников. Узнайте больше о новых стратегиях защиты в белой книге DeepMind.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена