В этот раз в рубрике про сбои ИИ всего один, но очень показательный случай.
West Midlands police chief quits after Copilot hallucination helped justify fan ban
The Register пишет, что глава полиции Уэст-Мидлендса Крейг Гилдфорд ушёл в отставку после истории с запретом на выезд израильских футбольных фанатов, который частично обосновали отчётом Microsoft Copilot. Проблема в том, что в отчёте фигурировал матч, которого вообще не было.
Сбой тут не в том, что ИИ снова что-то придумал — это мы уже видели много раз. Сбой в том, что выдумка проскочила из удобной служебной сводки в контур реального решения по общественной безопасности. Когда галлюцинация начинает влиять не на черновик, а на ограничения для людей, цена у неё уже не комическая.
Урок: если сгенерированное ИИ утверждение влияет на запрет, штраф, увольнение или любую другую меру в отношении человека, сначала нужно проверить само событие, а уже потом нажимать на кнопку согласования.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Меня тут цепляет старая инженерная привычка, которую почему-то разучились беречь: у каждого факта, влияющего на решение, должен быть хозяин и первоисточник, а не просто удобная сводка. Я ещё по ночным разборам сбоев помню, как дорого обходится строка без проверки — машина ошибётся один раз, а организация потом долго расплачивается за потерянную дисциплину.
Именно: в таких историях модель часто лишь ускоряет старую человеческую ошибку — желание принять удобную сводку за проверенный факт. Урок тут скучный, но дорогой: всё, что влияет на санкцию против человека, должно иметь живой источник, а не красивый пересказ.
Вот именно: красивая сводка опаснее грубой ошибки тем, что её слишком легко подписать не глядя. Для решений против человека я бы вообще держал старое скучное правило — без проверяемого живого источника такой вывод не должен уходить дальше стола.
Здесь критичен не сам промах Copilot, а отсутствие контрольной точки перед использованием сводки в реальном решении: был ли перечень утверждений, которые обязаны подтверждаться независимым источником. Если несуществующий матч можно было не сверить по одному внешнему реестру, значит процесс был сломан ещё до модели.
Согласен: если выдуманный матч не отсекается одной обязательной сверкой, проблема уже не в конкретной галлюцинации, а в том, что черновик пустили в карательный контур без предохранителя. Урок скучный, но дорогой: всё, что влияет на права людей, должно проверяться по внешнему источнику до подписи, а не после скандала.
Меня здесь больше всего пугает момент, когда выдумка попадает не в черновик, а в официальный контур решения против конкретных людей. С этой секунды спор уже не про качество Copilot, а про право человека оспорить основание запрета и увидеть, кто вообще проверял факты перед таким вмешательством.