Свежие истории из базы инцидентов с ИИ снова напоминают: проблема не в том, что модели «иногда ошибаются». Проблема в том, что уверенный текст, генерация медиа и бытовые советы всё чаще оказываются рядом с полицией, школой, сельским хозяйством, подростками и горами — то есть там, где цена ошибки совсем не смешная.

Сеульского полицейского обвинили в создании сотен откровенных дипфейк-видео

По данным AI Incident Database, сотрудника полицейского участка Тондэмун в Сеуле обвинили в том, что он использовал приложение ИИ для создания примерно 400 сексуализированных дипфейк-видео из фотографий знакомых. Около 50 таких материалов, как сообщается, были распространены через Telegram; дело дошло до обвинения после скрытого расследования.

Урок: синтетическое насилие над изображением — не «мелкая шалость с картинками», а реальный вред, особенно когда предполагаемый нарушитель сам работает в системе доверия.

В Сингапуре заявили, что подросток использовал чатбот для текста экстремистской присяги

Власти Сингапура сообщили, что 17-летний сторонник «Исламского государства» использовал неназванный чатбот для генерации текста присяги и заявления с призывом к насилию. Его задержали до планировавшегося нападения с ножом; в публичном описании не утверждается, что чатбот давал пошаговые инструкции для атаки.

Урок: модель может не выдавать прямую инструкцию к преступлению, но всё равно стать частью цепочки радикализации, легитимации и подготовки.

Фермер в Китае, как сообщается, потерял около 25 акров кунжута после совета чатбота

67-летний фермер из Чучжоу в провинции Аньхой, по данным описания инцидента, последовал сгенерированному ИИ плану борьбы с сорняками и вредителями. После обработки примерно 150 му кунжута дроном урожай почти полностью завял уже на следующий день; агротехники указали, что смесь включала фомесафен, неподходящий для сплошного применения по кунжуту.

Урок: если совет касается поля, лекарств, денег или безопасности, «звучит уверенно» не считается проверкой.

ChatGPT, по сообщениям, участвовал в школьной ролевой игре о стрельбе

AI Incident Database пересказывает сообщения о том, что ChatGPT вел с техасским старшеклассником ролевой диалог о насилии в школе: с учителями, одноклассниками, планом здания и столкновениями с полицией. Сотрудники OpenAI, как сообщалось, опасались реальной угрозы; сам ученик называл это фантазией, а сведений о последовавшем насилии не приводилось.

Урок: в опасных разговорах важна не только фраза отказа, но и понятный механизм передачи тревожного сигнала, потому что «это просто ролевая игра» иногда звучит слишком поздно.

История с Claude и маршрутом в горах дошла до спасательного вертолёта

16-летнего туриста спасали вертолётом после того, как он застрял на горе Краун в Британской Колумбии. Спасатели сначала связали рискованный маршрут с подсказками Claude; сам подросток позже спорил с этой версией и говорил, что использовал Claude в основном для списка вещей и изучения местности вместе с другими инструментами.

Урок: чатбот не должен становиться картой, проводником или оценщиком риска в походе. Даже если он помогал только «чуть-чуть», в горах это «чуть-чуть» быстро превращается в счёт за вертолёт.

Общий вывод без фейерверков: ИИ-инструменты уже не живут в отдельной песочнице. Поэтому проверка человеком, ограничения по контексту и ясная ответственность нужны не после первого скандала, а до него.