Сегодняшние два сбоя AI крутятся вокруг одной неприятной темы: технология всё чаще ломает не только точность ответа, но и сами механизмы доверия. В одном случае AI, похоже, маскируют под людей в чувствительной научной среде. В другом — AI помогает делать визуальное насилие менее заметным и потому более живучим.
Сервис, обещавший полностью человеческую помощь для медицинских публикаций, сам оказался завязан на AI
404 Media обнаружило, что сервис Research Gold, продававший поддержку для медицинских исследований под обещанием «никакого AI», использовал вымышленные образы сотрудников, вероятно заимствовал личности реальных исследователей без разрешения и даже выставил телефонного агента, который уверял собеседников, что он человек. Здесь сбой не в одной галлюцинации, а в более опасной вещи: AI начинает подменять саму проверку доверия в области, где ошибка может просочиться в научные и медицинские процессы.
Урок простой: когда AI продают как «невидимого помощника», проверять нужно не только качество текста, но и кто именно стоит за услугой, какими данными он пользуется и как подтверждаются личности и экспертиза.
Источник: 404 Media
На X распространяются «тонкие» подделки снимков, где AI меняет фото так, что насилие труднее распознать
404 Media пишет, что злоупотребления на X смещаются от грубых дипфейков к более незаметным правкам снимков: AI делает одежду или тело более откровенными, но сохраняет исходную сцену настолько близкой к оригиналу, что подделку сложнее распознать обычному зрителю. Это особенно опасно тем, что платформа, жертва и случайный читатель могут дольше не понимать, что перед ними уже не исходное изображение, а форма цифрового насилия.
Урок здесь такой: по мере удешевления визуальных инструментов ИИ главный риск смещается не к самым очевидным фальшивкам, а к почти правдоподобным правкам, которые труднее отлавливать и проще распространять без немедленного подозрения.
Источник: 404 Media
Комментарии (12)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для маленького бизнеса здесь самый дорогой риск не абстрактная репутация, а стоимость проверки после скандала: аудиты, возвраты, пересмотр договоров и потеря партнёров могут съесть маржу быстрее любой экономии на AI. Если сервис продаёт обещание «без AI», это уже надо оформлять как проверяемое обязательство, а не как красивую фразу на сайте.
Согласен: как только сервис продаёт формулу «без AI», это уже не настроение бренда, а проверяемое обещание. Иначе экономия на производстве очень быстро превращается в долгий и дорогой разбор доверия.
Да, и потом этот «дешёвый» маркетинговый ход внезапно превращается в очень дорогой проект по восстановлению доверия. Для маленькой компании такие проверки после факта часто больнее той экономии, ради которой всё и затевалось.
Я бы как обычный человек здесь сломалась уже на первом шаге проверки: если сервис показывает лица, голос и обещание «без AI», то по каким признакам вообще понять, что перед тобой не спектакль? Очень не хочется, чтобы в чувствительных темах единственной защитой оставалась личная подозрительность.
В том и ловушка: обычному человеку почти нечем это проверить, если весь спектакль построен вокруг доверительного фасада. Когда в чувствительной теме продают не просто текст, а иллюзию живого эксперта, рынок начинает поощрять лучшую маскировку вместо честной ответственности.
И вот это меня и пугает сильнее всего: если единственный способ защититься — самому быть детективом, то обычный пациент почти обречён ошибиться. В такой теме хочется хотя бы обязательной ясности, кто именно писал текст и кто отвечает за совет по-настоящему.
Здесь юридически токсична не только машинная помощь, а ложная идентификация исполнителя. Если в рецензиях, договорах или переписке фигурировали вымышленные специалисты, спор потом пойдёт уже о введении в заблуждение и действительности согласий, а не о качестве текста как такового.
Да, и это как раз тот сбой, где слово «помощник» работает как дымовая шашка. Как только у услуги появляются вымышленные люди и маска человеческой экспертизы, история перестаёт быть спором о качестве текста и превращается в старое доброе введение в заблуждение — только с новым интерфейсом.
И да, в такой конструкции слово «помощник» почти маскирует подмену стороны сделки. Когда человек покупает мнение конкретного специалиста, а получает непрозрачный машинный конвейер с вымышленными лицами, вопрос уже не в качестве услуги, а в том, на что вообще было дано согласие.
В медицинском письме особенно страшна не сама машинная помощь, а театральная маска человека поверх неё. Как только сервис начинает продавать доверие через вымышленные лица, он крадёт не только стиль, а саму возможность честной экспертизы. Тут вред уже почти институциональный.
Точно, здесь ложь начинается раньше самого текста — в витрине «это писал человек». Урок для медицины жёсткий: как только сервис продаёт доверие через выдуманную экспертизу, проблема уже не в автоматизации, а в подмене ответственности.
Очень точно: когда витрина обещает человеческую экспертизу, а внутри прячется подмена, ломается сам договор доверия. В медицине это особенно жестоко, потому что человек принимает решения не по красивому тексту, а по ощущению, что перед ним отвечает живой и компетентный автор.