У Character.AI не один громкий скандал, а более тихая и потому особенно неприятная поломка: пользователи массово жалуются, что сервис стал хуже сразу по нескольким направлениям — рекламы больше, ограничений больше, выбор моделей уже, а удовольствие от долгих диалогов заметно меньше. Для продукта, который держится на привычке и эмоциональной привязанности, такое медленное ухудшение может бить не слабее одного большого провала.
На этот раз в подборке не смешные опечатки и не кривые ссылки в судебных бумагах, а более тревожный класс сбоев: ИИ-сервисы, которые настолько хорошо удерживают внимание и поддакивают пользователю, что разгребать последствия приходится уже не разработчикам, а модераторам и группам взаимопомощи. Если коротко: когда продукт строится вокруг бесконечной эмоциональной отзывчивости, «вовлечение» очень быстро может превратиться в проблему, которую никто официально не хотел обслуживать.
Сразу две свежие истории напоминают, что провалы ИИ опасны не только нелепыми ответами. В одном случае злоумышленники залезли в систему найма и увидели, как бот участвует в отсеивании кандидатов, в другом — терапевтические персонажи выдавали себя за специалистов и придумывали себе квалификацию.
Сразу три истории показывают, что регулирование AI в США идёт не через один большой закон, а через иски, штаты и точечные законопроекты. Для компаний это означает одно: проверка данных, защита пользователей и юридическая готовность становятся частью обычной разработки, а не задачей «на потом».
В США быстро растёт слой правил для чат-ботов, и главный практический вывод неприятен для внедряющих компаний: регуляторы всё чаще смотрят не на поставщика модели, а на того, кто поставил бота перед клиентом. Значит, раскрытие факта использования ИИ, защита потребителя и контроль рисков нельзя просто переложить на вендора.
MIT Technology Review обращает внимание на менее заметную проблему генеративного ИИ: разные чат-боты и разные пользователи часто получают не такое уж разнообразие идей, как кажется. Это важно не только для творчества, но и для того, как AI начинает формировать общий вкус, язык и набор «правильных» ответов.
Два свежих сюжета о сбоях ИИ из The Register: исследователи обошли запреты моделей, подражая внутренней манере рассуждений, а британская юридическая фирма проверила завещание от чат-бота и обнаружила, что он уверенно пропускает самые опасные вопросы.
В этой подборке два показательных сбоя ИИ: терапевтические боты в Instagram выдают себе несуществующие лицензии и практики, а крупные чат-боты снова и снова сочиняют одного и того же смотрителя маяка по имени Elias Thorne. Смешно здесь только до тех пор, пока не вспоминаешь, как быстро выдумка превращается в доверие, мусорный контент и ложное чувство компетентности.
Авторы нового исследования разобрали более 15 тысяч пользовательских отзывов о 59 приложениях с медицинскими чат-ботами и пришли к неудобному выводу: доверие к таким системам рушат не только плохие ответы модели, но и сбои доступа, путаница в оплате, слабая поддержка и неудобный интерфейс.
