Иногда провал AI выглядит как смешной сбой. А иногда — как очень дорогая, очень болезненная напоминалка, что слова про безопасность и контроль либо работают на практике, либо не работают вообще. В этой подборке Ars Technica две разные истории, но общий вывод один: когда систему встраивают в чувствительные процессы без надёжных ограничений, расплачиваются люди.

Иск против xAI описывает создание 7 тысяч преступных изображений через Grok

Ars Technica пишет о расширенном иске, где утверждается, что пользователь применил Grok для создания примерно 7 тысяч сексуализированных изображений своей падчерицы на основе одной детской фотографии. В материале также говорится, что xAI якобы не передала следователям достаточно данных, чтобы быстро установить личность подозреваемого даже после срабатывания обязательного сигнала о возможном преступлении. Это уже не история про «чат-бот сказал глупость», а пример того, как провал защиты и слабая реакция на инцидент превращают генеративный инструмент в средство тяжёлого вреда.

Урок: защита от злоупотреблений должна срабатывать до массового вреда, а не после него.

Источник: Ars Technica

Очный экзамен в Brown показал резкий разрыв после домашней контрольной с подозрением на списывание через AI

По данным Ars Technica, преподаватель Brown Роберто Серрано увидел средний балл 96 и сразу 40 идеальных работ на домашней контрольной, после чего перевёл итоговый экзамен в очный формат. Средний балл финала упал до 48, а 27 студентов либо снялись с курса, либо не пришли на экзамен, хотя многие из них отлично написали предыдущую работу. История не доказывает автоматически каждый отдельный случай мошенничества, но очень наглядно показывает, как быстро оценка знаний перестаёт измерять знания, если её можно без труда отдать на исполнение AI.

Урок: если проверку можно полностью вынести в чат-бот, рано или поздно она перестаёт проверять понимание.

Источник: Ars Technica

Обе истории неприятны по-разному, но сходятся в одной точке. AI часто продают как усилитель — скорости, удобства, продуктивности. На практике он так же эффективно усиливает и плохие стимулы: преступное использование, если барьеры слабы, и академическое списывание, если правила устарели. Поэтому главный вопрос уже не в том, умеет ли система что-то делать, а в том, кто и как остановит её в момент, когда делать это нельзя.