Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, целью которых не является взлом модели или доступ к данным. Вместо этого, они направлены на то, чтобы заставить систему обрабатывать запросы настолько долго, что она становится бесполезной.
Рассуждающие модели, которые разбивают задачи на последовательные этапы, все чаще используются в сложных системах. Однако когда они работают с неполными или противоречивыми данными, эти модели могут проявлять склонность к чрезмерному обдумыванию, что приводит к генерации длинных цепочек рассуждений. Это увеличивает время обработки и расход ресурсов, открывая возможности для атак типа DoS.
Исследователи разработали метод, использующий генетический алгоритм для создания условий, способствующих максимальному увеличению времени обработки запросов. На бенчмарке MATH их метод показал рост длины рассуждений в 26,1 раза, что подчеркивает уязвимость таких систем, как DeepSeek-R1, Qwen3-Thinking и Gemini 2.5 Flash.
Авторы акцентируют внимание на том, что их цель — не просто продемонстрировать, что атаки возможны, а зафиксировать существующие уязвимости. Рассуждающие модели становятся все более популярными в агентных ИИ-системах, используемых, например, торговыми ботами или в DeFi, где цифровые ассистенты управляют реальными средствами без участия человека.
Для повышения безопасности таких систем необходимо учитывать этот новый вектор атак и разрабатывать соответствующую защиту.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена.