В судебном споре на $61 млн из-за взрыва на предприятии Watson Grinding всплыли подсказки к ChatGPT, которые, по данным 404 Media, использовались при подготовке экспертного отчёта в пользу 3M.

Материалы показывают не просто помощь с формулировками, а попытку с помощью модели собрать аргументацию о том, что 3M якобы не несёт ответственности. Проблема здесь не только в самом факте использования ИИ, а в контексте: экспертное заключение в таком деле воспринимается судом как источник специальных знаний, а не как черновик, собранный машиной.

Самый неприятный эффект таких историй в том, что у текста появляется убедительный вид раньше, чем появляется надёжность. Если проверка слаба, то модель помогает не разобраться, а отполировать слабую позицию до внешне профессионального вида.

Урок: в судебных и экспертных документах ИИ может ускорить набор текста, но не может взять на себя ответственность за факты, причинно-следственные связи и выводы.