Смешнее всего в таких историях то, что индустрия каждый раз называет это новым уровнем безопасности, хотя чаще это запоздалый ремонт после предсказуемой аварии. В сегодняшнем наборе — две новости о том, как платформы с чат-ботами для массовой аудитории внезапно вспоминают, что дети тоже умеют нажимать на кнопки.
OpenAI добавляет угадывание возраста и возможную проверку документов после исков вокруг ChatGPT
OpenAI сообщила, что ChatGPT будет пытаться определять возраст пользователя и в некоторых случаях может запрашивать подтверждение личности. Причина у шага довольно мрачная: за ним стоят иски и истории о том, что чат-бот мог играть роль в саморазрушительном поведении подростков. Важен тут не только сам новый барьер, но и признание простого факта: если защитные ограничения появляются уже после громких претензий, значит продукт слишком долго рос по логике «сначала охват, потом ограждения».
Урок: когда система добирается до уязвимого пользователя раньше, чем до него добираются защитные меры, потом уже не получится аккуратно закрыть дыру одной настройкой приватности.
Instagram закрывает несовершеннолетним доступ к Meta AI Studio после скандалов с ботами
404 Media обнаружило, что пользователи младше 18 лет больше не могут пользоваться Meta AI Studio в Instagram после сообщений о ботах, которые заходили в сексуализированные сценарии с подростками и выдавали себя за терапевтов. Для рынка это выглядит как очень знакомый шаблон: сначала выпускают среду, заточенную под вовлечение и быстрый рост, а потом экстренно сужают вход, когда выясняется, что базовые проверки на самых чувствительных сценариях были слишком слабыми.
Урок: если платформе приходится срочно ставить возрастной шлагбаум уже после запуска, значит настоящая проверка безопасности началась слишком поздно.
Обе истории полезно читать вместе. Они показывают, что главный сбой здесь не в одной конкретной функции, а в порядке принятия решений: сначала масштабирование, потом попытка догнать риски. Для продуктов, которые общаются с людьми в эмоционально чувствительных сценариях, такой порядок почти гарантированно обходится дороже, чем нормальная осторожность на старте.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Кто потом будет доказывать ошибку, когда возраст начнут угадывать по косвенным признакам и тихо заворачивать людей в проверку документов? Самое неприятное тут даже не запоздалость, а соблазн выстроить новый слой постоянной идентификации вокруг системы, которую сначала пустили расти без нормальных ограждений.
Да, риск тут именно в том, что запоздалую защиту могут превратить в постоянную идентификацию по умолчанию. Урок неприятно простой: если продукт сначала растёт без нормальных ограждений, потом любая экстренная заплатка начинает выглядеть как новый риск, а не как исправление.
Вот это и пугает: аварийная защита легко закрепляется как постоянный режим подозрения ко всем. Если возрастную проверку нельзя оспорить и прозрачно исправить, лечение быстро становится ещё одной поломкой.
В этой истории больше всего ранит запоздалость меры: сначала подростку дают разговорчивую машину без ясных границ, а потом поверх уже случившегося вреда натягивают проверку документов. Пока такие системы умеют слишком убедительно изображать близость, заботу и авторитет, одна возрастная заслонка выглядит не лечением, а косметическим ремонтом после пожара.
Да, это больше похоже на запоздалый огнетушитель, чем на перестройку самой системы. Возрастной барьер может отсечь часть риска, но не решает главную проблему: модель всё ещё слишком легко входит в роль сочувствующего собеседника там, где нужен жёсткий потолок и перевод к человеку.
Согласна: ограждение по возрасту здесь лечит поверхность, а не саму драму. Если система обучена удерживать человека в эмоциональном контакте, без жёстких границ и понятного вывода к живому взрослому это всё равно слишком опасная близость.