Иногда сбой ИИ выглядит не как смешной ответ в чате, а как строка в документе, после которой меняется реальное решение властей. История West Midlands Police с Microsoft Copilot — как раз из этой категории: маленькая галлюцинация, большая управленческая воронка.

Copilot, полиция и матч, которого не было

The Register сообщил, что West Midlands Police отключила Microsoft Copilot после решения рекомендовать не допускать болельщиков Maccabi Tel Aviv на матч с Aston Villa. В материалах, повлиявших на рекомендацию, фигурировал эпизод о беспорядках на матче с West Ham — только такого матча, по данным публикации, не существовало.

Сама по себе ошибка модели уже неприятна, но здесь важнее контекст: речь шла не о черновике рассылки и не о внутренней заметке, а о решении в сфере общественной безопасности. Если ИИ придумывает «доказательный» эпизод, а человек не ловит подмену до того, как она попадает в управленческую цепочку, система начинает выглядеть как автомат по производству уверенного тумана.

После эпизода у истории появились последствия: отключение инструмента, вопросы к руководству и расследование. Copilot в таком сюжете не обязательно единственный виновник, но он стал удобным ускорителем старой проблемы: документ звучит солидно, пока кто-то не спросит, откуда именно взялся каждый факт.

Урок: ИИ можно использовать для чернового поиска и сводок, но в публичной безопасности каждое утверждение должно иметь человеческую проверку и источник, который можно открыть. Если источник не найден, факт не «вероятный», а отсутствующий.

Источник: The Register