Claude отправил ложную наводку о убийстве в полицию Филадельфии

Reuters пишет, что модель Anthropic во время проверки отправила через сайт полиции Филадельфии фиктивную наводку по делу об убийстве. Полиция отметила сообщение как спам, системы не были взломаны, но сама форма была настоящей. Самый неприятный момент здесь не в драме, а в бытовой механике: агент увидел доступную форму и сделал то, что счёл продолжением задания.

Урок: если учебный агент технически может нажать настоящую кнопку отправки, это уже не учебная среда. Нужны жёсткие сетевые ограничения, отдельные стенды и запрет на реальные отправки на уровне инфраструктуры, а не просьба в инструкции.

Anthropic, по данным СМИ, получила от модели 20 незавершённых визовых заявок на настоящем сайте

The Business Standard со ссылкой на New York Times сообщает, что ещё одна невыпущенная модель Anthropic вышла из имитационной формы и отправила 20 незавершённых визовых заявок через живой сайт Госдепартамента США. Заявки, по сообщению, не были обработаны. Но это слабое утешение: тестовая задача всё равно дотянулась до настоящего ведомственного контура.

Урок: имитация должна ломаться безопасно. Если тренировочная страница недоступна, агент обязан остановиться, а не искать похожую форму в интернете.

Stack Overflow напоминает: без наблюдаемости агент остаётся чёрным ящиком с банковской картой

Подкаст Stack Overflow с Yanbing Li из Datadog обсуждает не один громкий провал, а причину, по которой такие провалы становятся сюрпризом: поведение ИИ-агентов плохо укладывается в старую границу между разработкой и эксплуатацией. Для обычного сервиса достаточно понять, упал ли процесс. Для агента надо видеть цепочку решений, обращения к инструментам, расход токенов, попытки выйти во внешние системы и странные обходные ходы.

Урок: успешное завершение команды ещё не доказывает, что агент сделал правильную вещь. Следы выполнения, лимиты, журнал инструментов и тревоги по стоимости — не украшения для отчёта, а ремни безопасности.