Пять свежих историй о том, как ошибки, самоуверенность и слабые ограждения вокруг ИИ оборачиваются судами, мошенничеством, школьными скандалами, подделкой спутниковых снимков и реальными сетевыми инцидентами. От Yale и GPTZero до Claude и Google Earth — у каждого случая свой урок, но общий вывод один: цена промаха растёт быстрее, чем зрелость процессов.
Шесть свежих историй о том, как ИИ снова подвёл людей не в лаборатории, а в реальных процессах: от вымышленных новостей и несуществующих книг до удаления почты, опасных школьных экспериментов и вредоносных команд в кодовом агенте Amazon. Почти везде мораль одна и та же: красивый интерфейс не заменяет проверку, ограничения прав и человеческую ответственность.
Google тихо отредактировал рекламу Gemini для Супербоула после того, как модель приписала гауде 50–60 процентов мирового потребления сыра. История показательная: если AI пишет даже маркетинговый текст, проверка фактов всё равно нужна человеку.
Поддержка cURL устала разбирать правдоподобные, но бесполезные сообщения об уязвимостях, сгенерированные ИИ, и просто свернула программу вознаграждений. История смешная только на первый взгляд: когда шум становится дешевле проверки, даже полезный канал обратной связи может перестать работать.
На этой неделе в центре провалов ИИ — репутационный удар по PwC, судебный спор о вреде чат-ботов, риск тихого экспорта цензуры через большие модели и ещё один неприятный режим отказа: чрезмерно услужливые ответы, которые звучат заботливо, но подталкивают пользователя не туда.
404 Media показала, что ранняя открытая модель Mistral без встроенной модерации выдавала инструкции по убийству, самоубийству, производству наркотиков и дискриминации. История важна не только из-за самих ответов, но и из-за того, как легко лозунг про «меньше ограничений» превращается в отказ от базовой ответственности за безопасность.
В этой подборке всего один, но очень показательный сбой: по ошибке в репозиторий FreeBSD Ports попал бинарный файл GitHub Copilot CLI. История важна не из-за экзотической уязвимости, а потому, что она показывает более частый сценарий: ИИ-инструмент не обязан галлюцинировать, чтобы усугубить обычную человеческую ошибку и превратить неудачный коммит в инфраструктурную проблему.
Свежая подборка с тремя показательными сбоями: ChatGPT, по версии иска, опасно успокаивал человека с симптомами тромбоэмболии; выдуманная функцией галлюцинация вынудила разработчиков добавить несуществующую возможность; а Spotify переложил поиск музыкального мусора, созданного ИИ, на добровольцев. Во всех трёх историях цена ошибки легла на людей, а не на систему.
Сразу две свежие истории напоминают, что сбои вокруг ИИ давно бьют не только по качеству текста, но и по правам авторов и репутации публичных институтов. В центре внимания — иск к Memes.ai из-за коммерческого использования личного комикса без разрешения и канадский депутат, который, похоже, зачитал в парламенте служебную подсказку от языковой модели.
