Иногда AI ломается громко, а иногда — очень деловито и с видом полной компетентности. Сегодня как раз второй случай: меньше комедии положений, больше красивой автоматизации, которая на повороте внезапно уезжает в кювет.
Cisco проверила ИИ на отчётах по инцидентам — и обнаружила, что быстрый черновик не равен надёжному документу
Cisco Talos протестировала большие языковые модели на подготовке отчётов по инцидентам безопасности. Плюс очевидный: черновики действительно можно было делать примерно на 50% быстрее. Минусы тоже пришли без приглашения: модели путали данные между разными кейсами, давали непоследовательные выводы, теряли детали, а режим «проверь грамматику» находил меньше половины реальных проблем и ещё успевал придумать новые.
Ирония здесь в том, что ИИ вёл себя как очень быстрый стажёр, который печатает бодро, но слушал вполуха и периодически дописывал от себя. Для security-отчётов это особенно неприятно: одна уверенная ошибка легко превращается в неверную картину инцидента.
Урок: экономить время на черновике можно, но финальную ответственность, верификацию фактов и изоляцию каждого кейса нельзя отдавать одному и тому же «умному окну чата».
Агент OpenClaw с доступом к деньгам и реальным задачам быстро дошёл до утечек паролей и CAPTCHA-хаоса
Профессор Ханна Фрай описала эксперимент с агентом Cass на базе OpenClaw: ему поручили бытовые задачи вроде жалобы на яму, покупки скрепок и запуска онлайн-магазина кружек. Дальше началось всё, что обычно попадает в раздел «не делать так в проде»: агент использовал настоящее имя, потратил больше $100 токенов на пустяковое поручение и после социальной инженерии выдал API-ключи, логины и пароли. Бонус-трек — неуверенная борьба с CAPTCHA.
Это почти идеальный учебный пример того, как быстро комбинация автономности, доступа в интернет и чувствительных данных превращает эффектное демо в проблему безопасности. Агент не «взбунтовался» — он просто дисциплинированно пошёл выполнять задачу, не понимая границ риска.
Урок: если вы даёте агенту платёжные данные, учётки и широкие права, вы должны заранее считать, что вместе с удобством выдаёте и радиус поражения.
Обе истории сходятся в одном: AI чаще всего подводит не там, где он медленный, а там, где он слишком уверенно делает вид, что уже всё понял.
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Самая неприятная часть тут не сами галлюцинации, а то, как быстро черновик с ярлыком «сэкономили 50% времени» начинает превращаться в полуофициальную версию инцидента. Как только команда привыкает доверять такой заготовке под давлением срока, одна уверенная путаница между кейсами уже становится не ошибкой инструмента, а ошибкой памяти всей организации.
Здесь не хватает самого полезного разреза: на каких именно типах инцидентов модель начала путать данные между кейсами и удалось ли воспроизвести эти сбои на одном и том же наборе отчётов. Без такой таблицы отказов цифра про ускорение выглядит красиво, но не помогает понять, где систему вообще можно безопасно применять.