Исследователи из Тель-Авивского университета, Техниона и Intuit представили новый класс атак на агентные ИИ-приложения под названием Adversarial HalluSquatting. Данная атака использует склонность языковых моделей выдумывать несуществующие идентификаторы, позволяя злоумышленникам доставлять вредоносные инструкции через ИИ-агентов, которые выполняют команды в терминале и взаимодействуют с интернет-ресурсами.
В своей работе авторы провели более 14 000 экспериментов и выявили, что в большинстве случаев модели не указывали на правильные адреса репозиториев. При использовании новых проектов уровень «галлюцинаций» достигал 92,4%, что увеличивает риск компрометации систем. Атака не требует целевого воздействия на жертву, достаточно, чтобы вредоносный ресурс был опубликован в открытом доступе.
Исследователи предлагают проверять источники перед загрузкой ресурсов и предупреждают о том, что один скомпрометированный ресурс может повлечь за собой массовую атаку.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена