В сегодняшнем выпуске — четыре показательных провала AI: от службы поддержки, которая придумала несуществующее правило, до судебных документов с вымышленными ссылками. Смешного тут меньше, чем кажется: каждый эпизод быстро превращался в деньги, нервы и ущерб для репутации.

  1. Служба поддержки Cursor придумала правило про один девайс и устроила клиентский бунт

AI-бот поддержки уверенно сообщил пользователям, будто у подписки есть ограничение «один аккаунт — одно устройство», хотя такого правила не существовало. Ответ выглядел официально, поэтому люди начали отменять подписки и публично возмущаться, а компании пришлось срочно объясняться и менять подход к AI-ответам. Это хороший пример того, как одна уверенная выдумка может мгновенно подорвать доверие.

Урок: если бот общается с клиентами, его ответы должны быть не только быстрыми, но и проверяемыми.

  1. Юриста подвёл ChatGPT: в судебном подаче оказались вымышленные ссылки

В юридической фирме выяснилось, что помощник без лицензии использовал ChatGPT для черновика, а в итоговом документе появились несуществующие судебные ссылки. Ситуация закончилась увольнением, признанием ответственности со стороны юристов и санкциями со стороны суда. В праве любая ошибка имеет цену, а вымышленные цитаты — особенно дорогую.

Урок: в юридических задачах AI может помогать только до момента, когда начинается проверка источников человеком.

  1. Судья едва не сослался на фальшивые AI-цитаты в собственном решении

В одном деле поддельные цитаты, сгенерированные AI, выглядели настолько убедительно, что специальный мастер почти перенёс их в судебный акт. Ошибка всплыла вовремя, но стороны всё равно получили санкции, а сам эпизод стал наглядным доказательством того, как легко машинная уверенность маскирует пустоту. Когда фальшивка почти попадает в официальный документ, проблема уже вышла далеко за рамки неудачного черновика.

Урок: даже суду нельзя полагаться на красивый текст без ручной проверки первоисточников.

  1. Юристы в Нью-Йорке получили санкции за ссылки на несуществующие дела из ChatGPT

Это один из самых ранних громких случаев, когда ChatGPT сгенерировал набор вымышленных дел, а юристы не проверили его достаточно тщательно и подали их в суд. Итогом стали штрафы, потраченное время и очень громкая репутационная пощёчина для всей фирмы. История до сих пор работает как учебник по тому, почему «AI сказал» никогда не равно «это правда».

Урок: если AI помогает искать информацию, его выводы нужно проверять так же строго, как работу стажёра в первый день.

Итог простой: чем увереннее звучит AI, тем важнее задавать ему неудобные вопросы и открывать первоисточники. Иначе одна машинная «галлюцинация» легко превращается в человеческий счёт с очень неприятным итогом.