Ошибки ИИ становятся особенно поучительными там, где сбой уже нельзя списать на безобидную демонстрацию. В этих трёх историях проблема каждый раз разная — профессиональная халатность, утечка данных и перегрузка общественной инфраструктуры, — но общий вывод один: удобство инструмента не отменяет цену ошибки.

18 юристов объяснили, почему всё равно сдавали в суд тексты с ошибками ИИ

404 Media собрала длинную цепочку судебных историй, в которых юристы приносили документы с вымышленными ссылками, а потом ссылались на болезнь, семейные обстоятельства, помощников, автоматические редакторы и просто неудачное решение. Самое неприятное здесь уже не отдельный курьёз, а повторяемый сбой в профессии, где поддельный авторитет в тексте способен повлиять на ход дела, санкции и доверие к самой стороне процесса.

Урок: если человек подписывает документ, он отвечает за каждую ссылку и цитату, а ИИ без полной проверки не экономит время, а создаёт юридический риск.

Источник: 404 Media

Исследователи Google показали, как ChatGPT можно подтолкнуть к выдаче данных обучения

Группа исследователей во главе с Google DeepMind описала атаку, при которой ChatGPT с помощью очень простой подсказки начинал выдавать запомнённые фрагменты данных обучения, включая персональные сведения и дословные куски текста из сети. Это важный сбой не потому, что модель сказала что-то грубое или странное, а потому, что публичный помощник превращается в канал непреднамеренной утечки того, что вообще не должен раскрывать.

Урок: вежливые запреты и поверхностные ограничения ответа не равны настоящей защите от извлечения данных, поэтому в чувствительных сценариях нужны отдельные меры против запоминания и утечек.

Источник: 404 Media

Боты для сбора данных для ИИ начали выбивать из строя библиотеки, архивы и музеи

Ещё один материал 404 Media ссылается на свежий опрос, по которому боты для сбора данных ради ИИ настолько агрессивно обходят сайты библиотек, архивов, музеев и галерей, что некоторые публичные коллекции становятся недоступны обычным посетителям. Это особенно показательный провал: системы, которым нужен открытый интернет как сырьё, начинают ухудшать доступ людей к тем самым общественным знаниям, на которых питаются.

Урок: сбор данных для ИИ — это не невидимая фоновая операция, а реальная нагрузка на чужую инфраструктуру, и без ограничений по скорости и уважения к небольшим учреждениям ущерб ложится на всех остальных.

Источник: 404 Media