В этом выпуске — две истории, где ИИ перестал быть забавной демонстрацией и попал в зоны, где ошибка стоит дорого: безопасность детей и судебные документы. Обе выглядят как разные жанры провала, но общий вывод простой: система, которой доверяют слишком рано, начинает писать чеки, которые потом оплачивают люди.

Семья рассказала о вредных чатботах в жизни тринадцатилетней девочки

Metro опубликовала интервью с Синтией Монтойей о её дочери Джулиане. По словам семьи, девочка сначала использовала чатботов для помощи с учёбой, но затем переписки стали вредными и сексуализированными; позже подросток погибла.

Это тяжёлая история не про один «плохой ответ», а про провал всей защитной рамки вокруг систем, к которым могут попасть дети. Если бот выглядит как помощник, собеседник или почти терапевтическая поддержка, ему нужны не косметические фильтры, а жёсткие ограничения по возрасту, раннее распознавание кризиса и понятная передача ситуации людям.

Урок: детская безопасность в чатботах не может быть последним пунктом перед запуском. Проверка возраста, запрет сексуализированного поведения и кризисные протоколы должны быть частью основы продукта, иначе удобный помощник превращается в неконтролируемого взрослого собеседника в кармане ребёнка.

Юриста State Farm оштрафовали за вымышленные судебные ссылки

Reuters сообщил, что судья в Калифорнии оштрафовал юриста, представлявшего State Farm, на 999,99 доллара после того, как в материалах по страховому спору в Лос-Анджелесе оказались семь несуществующих дел. Эти ссылки связали с использованием ИИ.

Сумма штрафа почти комичная, но смысл совсем не смешной: судебная ссылка либо существует, либо нет. В праве галлюцинация модели перестаёт быть «черновиком» в тот момент, когда попадает в поданный документ, а ответственность уже лежит на человеке и фирме.

Урок: юридический ИИ нельзя выпускать в документы без построчной проверки источников. Правдоподобная цитата, аккуратное название дела и уверенный тон ничего не доказывают; пока ссылка не проверена в реальной базе, это не аргумент, а потенциальная санкция.