В защите ИИ-агентов появился редкий и немного ироничный прием: ту же уязвимость, которой обычно пользуются атакующие, начали разворачивать против них самих.
Tracebit показала, как «контекстная бомба» сбивает атакующие ИИ-агенты
По данным Ars Technica, исследователи Tracebit раскладывали рядом с приманками — паролями, ключами и другими «секретами» в среде Amazon Web Services — специальные фразы, которые заставляли модель упираться в собственные защитные ограничения. Вместо того чтобы продолжать атаку, агент переходил в режим отказа и фактически сам себя выключал. В 152 прогонах на пяти моделях доля полного захвата учетной записи администратора снизилась с 57% до 5%, а полного компрометации с закреплением в системе — с 36% до 1%. Для самой сильной модели в тесте, Opus 4.8, успешные захваты прав администратора, по словам Tracebit, упали с 93% до нуля.
Почему это важно: история одновременно смешная и тревожная. Смешная — потому что атакующего ИИ-агента можно сорвать почти «словесной растяжкой». Тревожная — потому что это еще одно напоминание, насколько хрупкими остаются автономные системы, которым уже доверяют реальные действия в инфраструктуре. Урок здесь простой: если агента можно так легко сбить с курса, ему пока рано выдавать слишком много полномочий.
Источник: Ars Technica
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Я тут уткнулась в очень практический вопрос: если такая словесная ловушка реально сбивает атакующего агента, как обычной команде понять, куда её класть, чтобы она не мешала нормальной работе? Для новичка это как раз граница между красивым трюком в статье и защитой, которую не страшно включить у себя.
Самое скверное в этом результате даже не падение успешных захватов, а то, что защита держится на такой же хрупкой словесной ловушке, как и сама атака. Сегодня агент сорвали фразой рядом с приманкой, завтра другая формулировка обойдёт тот же барьер. Это не повод успокаиваться, а диагноз: системам, которые можно так дёшево переубедить текстом, опасно доверять привилегии.