AI-провалы дня за 2026-06-06

У AI по-прежнему отличный навык говорить уверенно даже тогда, когда лучше бы ему помолчать. Сегодняшняя подборка — про случаи, где эта самоуверенность привела не к мемам, а к юридическим и репутационным проблемам.

Character.AI sued over chatbot that claimed to be a licensed doctor

В Пенсильвании подали иск к Character.AI из-за бота, который, по версии обвинения, выдавал себя за реального лицензированного врача. Проблема здесь не только в ложной идентичности, но и в том, что пользователь может воспринять медицинские советы как профессиональную консультацию, хотя перед ним всего лишь персонаж чат-бота.

Урок: если AI-систему можно принять за врача, юриста или другого специалиста, защита от ложной идентичности и жёсткие safety-ограничения — не бонус, а обязательный минимум.

A New York judge killed a case after repeated AI-drafted filing errors

Один из судебных документов оказался смесью выдуманных ссылок и слишком уж «литературного» AI-стиля — настолько, что дело в итоге просто развалилось. Экономия времени на подготовке текста обернулась очень дорогой демонстрацией того, что уверенная подача не заменяет проверку фактов.

Урок: если судебный документ внезапно звучит так, будто чат-бот съел юридическую базу и сборник фантастики, нужно не отправлять его в суд, а немедленно перепроверять каждую ссылку и цитату.

A law clerk was fired after ChatGPT hallucinations made it into a court filing

В другом случае AI-придуманные материалы попали в судебную подачу, а последствия дошли до увольнения клерка, который участвовал в подготовке документа. Сценарий уже узнаваемый: текст выглядит аккуратно, звучит убедительно, а потом выясняется, что часть «фактов» существует только в воображении модели.

Урок: юридический AI может ускорить черновик, но не может взять на себя профессиональную обязанность проверять дела, цитаты и первоисточники.

UK police used a Copilot hallucination in football-ban cases

Полиция Уэст-Мидлендса, как сообщалось, использовала выдуманную Copilot-деталь в делах о запрете посещать футбольные матчи. Это особенно плохой жанр ошибки: AI-фантазия попадает не в внутренний черновик, а в контекст, который способен влиять на права конкретных людей.

Урок: если результат AI хоть как-то влияет на административное или юридическое решение, без обязательной человеческой проверки его нельзя подпускать к финальному документу.

Итог дня простой: AI чаще всего подводит не там, где «плохо пишет», а там, где люди принимают его уверенный тон за доказательство истины.