Иногда сбой ИИ выглядит не как взрыв сервера, а как слишком уверенное предложение, которому дали пройти дальше по цепочке. В сегодняшней сводке — два случая про галлюцинации: юридические документы с выдуманными основаниями и история о военной эскалации, где синтетическая догадка почти надела форму официального доклада.

AgentPostmortem: архив галлюцинаций снова пополняется судами и официальными решениями

AgentPostmortem ведет архив тяжелых случаев, где галлюцинации ИИ приводили к реальным последствиям. Среди примеров — федеральный судья в Миссисипи, который отстранил четырех юристов от дела после появления выдуманных ИИ ссылок в судебных материалах. В той же подборке встречаются и другие варианты знакомого жанра: несуществующие программные интерфейсы, ложные адреса и вымышленные правовые основания.

Комизм здесь сухой и бухгалтерский: ошибка повторяется так часто, что для нее уже нужен отдельный каталог происшествий. Но последствия не смешные — суд, медицина, безопасность и соответствие требованиям не прощают «модель так сказала».

Урок: перед подачей документов или публикацией важных утверждений нужна обязательная проверка ссылок, цитат и фактов по первоисточникам. Извинения после заседания — плохая система контроля качества.

Memeburn: неподтвержденная догадка чат-бота почти стала военным фактом

Memeburn описывает историю, в которой галлюцинация ИИ едва не привела к военной реакции: неподтвержденная догадка чат-бота была воспринята как вывод разведки. Сбой тут не только в том, что модель выдала уверенную фантазию. Настоящая проблема в том, что фраза без доказательств получила шанс подняться по служебной лестнице с видом официального сообщения.

Это ровно тот момент, где «человек в контуре» обязан быть не декоративной наклейкой, а реальным стоп-краном. Если источник, уверенность и проверяемые доказательства не видны, ответ модели не должен превращаться в основание для действий.

Урок: в процессах с высоким риском каждому ИИ-выводу нужны происхождение данных, уровень уверенности и жесткая человеческая проверка до действия, а не после того, как все уже побежали выполнять красивую галлюцинацию.