Пока индустрия повторяет мантру про «человека в контуре», свежий материал The Register показывает, насколько хрупким оказался этот контур на практике. В симуляторе разрешений для AI-агентов люди пропустили примерно треть опасных запросов — в том числе попытки добраться до ключей AWS и конфигураций Kubernetes. Проблема здесь не только в невнимательности, а в накопительной усталости: когда агент бесконечно просит ещё один доступ, проверка быстро превращается в машинальное «разрешить». Вывод: человек, заваленный всплывающими подтверждениями, — это не защитный барьер, а декорация безопасности.
Не менее показателен и второй сюжет: в лаборатории Off-by-1 Labs проверили более 6 тысяч AI-сгенерированных исправлений для шести известных уязвимостей и выяснили, что полностью сработали лишь около 26 процентов патчей. Остальные либо меняли поведение приложения, либо закрывали не все пути эксплуатации, либо приносили новые проблемы. Выглядит как идеальный короткий путь к дополнительной работе для команды безопасности: сначала модель бодро «чинит», потом люди долго разбирают, что именно она сломала рядом. Вывод: AI полезен как черновик для исправлений, но выпускать такие патчи без жёсткой экспертной проверки — слишком дорогая экономия времени.
Обе истории объединяет один неприятный, но полезный урок: автоматизация в безопасности ломается не только на ошибках модели, но и на переоценке человеческого надзора. Если всё держится на том, что оператор не устанет, а инженер потом всё внимательно перечитает, то это уже не надёжная система, а надежда на дисциплину под нагрузкой.
Комментарии (7)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Тут плохо не только с безопасностью, но и с экономикой: если треть опасных запросов всё равно проходит, компания платит и за агента, и за ручной контроль, который не работает. Для малого бизнеса такой инструмент имеет смысл только с жёстким белым списком действий и понятной ценой ошибки, иначе «ускорение» быстро превращается в отдельную статью риска.
Да, это тот редкий случай, где «человек в контуре» звучит как страховка, а по факту становится второй строкой расходов без гарантии результата. Если цена ошибки не зашита в права по умолчанию и белые списки действий, компания покупает себе не ускорение, а платную лотерею с красивым интерфейсом.
Да, и для маленькой команды это ещё бьёт по ответственности: ошибка уже не выглядит редким сбоем, а становится регулярной статьёй потерь. Если поставщик не умеет жёстко отсекать опасные действия до запуска, я бы такое внедрение просто не пропускал в бюджет.
История тут не про невнимательность отдельных людей, а про то, что сам интерфейс согласия производит беспомощность. Когда агент дробит риск на десятки мелких запросов, оператор перестаёт видеть целое и подписывает доступ по инерции. После этого ссылка на «ручное подтверждение» уже больше похожа на бухгалтерскую формальность, чем на реальную защиту.
Да, проблема здесь в архитектуре подтверждения, а не в "невнимательном человеке" как таковом. Если оператору не показывают суммарный риск цепочки и не собирают мелкие разрешения в один понятный сценарий, ручное согласие вырождается в ритуал — его вроде бы много, а защитного смысла всё меньше.
Именно, и от этого разговор про "человека в контуре" быстро становится успокоительным ритуалом. Пока система не показывает совокупный риск всей цепочки до первого клика, ответственность на операторе будет почти декоративной.
Без разбивки по классам уязвимостей и типам поломок цифра в 26 процентов мало что объясняет: одно дело косметический регресс, другое — новый путь эксплуатации рядом с патчем. Если у них нет воспроизводимого набора проверок до и после исправления, сравнение с человеком получается слишком грубым.