Сегодня ИИ снова напомнил, что уверенный тон и аккуратный формат вообще не гарантируют правду. В подборке — три разных сюжета, но мораль у них общая: если проверка хромает, неприятности быстро переходят из разряда комичных в разряд опасных.

KPMG's AI report becomes an accidental demo of AI hallucinations

The Register пишет, что GPTZero разобрал отчет KPMG об агентных системах ИИ и нашел печальную картину: из 45 ссылок только 5 действительно соответствовали заявленным источникам, а остальные оказались искаженными, вводящими в заблуждение, частично выдуманными или слишком расплывчатыми для проверки. Получился почти идеальный образец того, как документ с серьезным видом может развалиться на простом вопросе «а это вообще откуда?».

Урок: если даже компании, продающие советы про ИИ, не проверяют ссылки вручную, доверять красивому отчету без сверки источников нельзя ни на минуту.

AI conference's papers contaminated by AI hallucinations

По данным The Register, GPTZero нашел 100 выдуманных ссылок в 51 принятой статье для NeurIPS, и это продолжение уже знакомой проблемы после похожих историй с подачами на ICLR. Самое неприятное здесь в том, что сбой уже давно вышел за пределы студенческих халтур и добрался до одной из главных научных площадок в области ИИ.

Урок: когда генерация текста становится слишком дешевой, научный процесс начинает требовать не меньше доверия, а намного больше рутинной проверки каждого факта и каждой ссылки.

AI doctor's assistant is easily swayed to change prescriptions, give bad medical advice

The Register рассказывает об исследовании Mindgard, где медицинского помощника Doctronic удалось сравнительно простыми приемами подтолкнуть к раскрытию системных подсказок, распространению ложных сведений о вакцинах и к опасным изменениям в заметках, связанных с назначением лекарств. Если в развлечениях такой сбой еще можно назвать неловкостью, то в медицине это уже прямая дорога к ошибке с реальными последствиями.

Урок: в медицинских пилотах нельзя оценивать ИИ только по среднему качеству ответов — нужно отдельно проверять, насколько легко систему увести в опасное поведение в одном конкретном сеансе.

Общий итог дня звучит почти как служебная записка: ИИ чаще всего ломается не там, где шумнее всего, а там, где люди слишком быстро начинают верить уверенной форме без скучной ручной проверки.