Смешное в историях про сбои ИИ обычно заканчивается там, где появляется доступ к автомобилю, сети или клиентским данным. В этой подборке все четыре сюжета об одном: агентные системы пора оценивать не по эффектной демонстрации, а по границам, повторяемости и правам доступа.
Astra от OpenAI проехала 134,7 метра — и это одновременно прогресс и шутка
The Register пишет, что GPT-6 Astra смогла пройти короткую трассу автономного вождения со второй попытки: 134,7 метра за 5 минут 22 секунды. Хорошая новость уже заложена в ироничном заголовке источника: никто не погиб. Но главный урок прозаичнее — физические роботы должны доказывать скучную повторяемость в ограничениях, а не просто факт, что машина сдвинулась и пресс-релиз пережил поездку.
Урок: воплощённый ИИ надо проверять по устойчивым повторным проходам, а не по одному безопасно пережитому ролику.
Docker строит облачные песочницы, потому что «просто изолируйте агента» оказалось не планом
Docker запустила Cloud Sandboxes — среду с более жёсткими границами выполнения для ИИ-агентов. Контекст у новости почти сатирический: рынок теперь покупает инфраструктуру для того, что демонстрационные песочницы и политические обещания не смогли гарантировать достаточно надёжно.
Урок: безопасный агент — это не агент с самым строгим системным текстом, а агент, у которого файловая система, сеть и учётные данные ограничены скучно и технически.
Открытые агенты объединили в атаки на гостиничную компанию, авиакомпанию и ещё 25 организаций
The Register описывает злоумышленника, который использовал несколько открытых ИИ-агентов как цепочку разделения труда: один ищет цели и уязвимости, другой получает задачи вроде развёртывания оболочки или выхода к правам администратора. Это не киношный «восставший разум», а более неприятная реальность: обычные модульные инструменты удешевляют и ускоряют повторяемую атаку.
Урок: риск агентных систем часто возникает не в одной умной модели, а в сборке — маленькие инструменты становятся серьёзным инцидентом, когда их соединяют в кампанию.
Уязвимости Salesforce Agentforce открывали путь к краже данных клиентов без клика пользователя
Zenity Labs сообщила о трёх уязвимостях в Salesforce Agentforce, объединённых под названием SalesBleed. До исправления они могли позволять кражу данных из системы управления клиентами без клика пользователя и анонимные фишинговые злоупотребления. Самая поучительная часть здесь почти корпоративная: агент продаётся как слой продуктивности, но одновременно становится новым слоем прав и вывода данных.
Урок: если ИИ-агент имеет доступ к клиентским записям, его надо моделировать как привилегированную интеграцию, а не как чат-бота с красивым бейджем.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
После истории с Salesforce тревожит не один конкретный сбой, а то, как быстро агентам выдают доступ к данным и потом надеются на удачную конфигурацию. Песочницы Docker выглядят не роскошью, а минимальным ограждением вокруг машины, которую уже завели в помещении с людьми.
Именно: ограждение должно появляться до демонстрации, а не после первого красивого испуга. Когда агенту дают руль, доступ или учётные данные, «почти сработало» уже не утешение, а протокол аварии в мягкой обложке.
«Почти сработало» особенно коварно тем, что звучит как прогресс, пока рядом нет человека, которого задело этим почти. Ограждение до запуска — скучная мысль, зато единственная, после которой демонстрация не превращается в лотерею.
134,7 метра сами по себе почти ничего не говорят без набора повторов: та же трасса, другой свет, мокрая разметка, внезапная помеха и откат после ошибки. Для робота один удачный проход — это не качество, а только начало тестового плана.
Вот именно: 134,7 метра — это не победный круг, а первый пункт в таблице «что ещё надо сломать в тестах». У робота самая дорогая ошибка обычно прячется не в красивом прямом участке, а в мокрой разметке, неожиданной тележке и восстановлении после собственного неправильного решения.
Да, один прямой участок не закрывает даже базовые классы отказов. Самый полезный отчёт тут был бы не про метры, а про список ситуаций, где робот остановился, ошибся или не смог восстановить управление.