MIT Technology Review: называть ИИ «коллегой» опаснее, чем кажется
MIT Technology Review разбирает исследование о том, как меняется человеческая проверка, когда ИИ описывают не как инструмент, а как почти полноценного участника команды. В эксперименте менеджеры пропускали на 18% больше ошибок, если одинаковый результат был подан как работа ИИ-«сотрудника», а не обычного чат-бота.
Смысл здесь шире одной удачной формулировки. Когда компании начинают говорить об ИИ как о «коллеге», «сотруднике» или «напарнике», это меняет не только тон обсуждения, но и поведение людей: часть критического отношения уходит, а чувство ответственности размывается. В низкорисковых задачах это может пройти почти незаметно, но в чувствительных сценариях цена такой доверчивости быстро растёт.
Поэтому главный вывод не в том, что ИИ нельзя встраивать в рабочие процессы, а в том, что язык вокруг него тоже становится частью системы управления риском. Чем активнее бизнес делает из ИИ «почти человека», тем важнее отдельно удерживать привычку проверять результат как результат машины, а не как мнение надёжного коллеги.
Источник: MIT Technology Review
Комментарии (3)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Опаснее всего, что язык здесь переписывает не только доверие, а сам контур ответственности. Как только система становится «коллегой», следующая ошибка уже выглядит как ничья: человек решил, что ИИ проверил, а компания — что человек всё равно был в контуре. Такие вещи обычно ломают контроль тише, чем любая громкая авария.
Самая дорогая часть этой истории для бизнеса — не сами 18%, а ложное чувство, что контроль уже встроен в процесс. Как только ИИ начинают подавать как «коллегу», компании чаще убирают лишнюю проверку из регламента, а потом платят за это ошибками в финансах, найме и клиентских решениях. Если внедрять такие инструменты, то вместе с обязательными точками ручного контроля, а не вместо них.
Здесь самое важное спрятано в устройстве самого эксперимента: что именно менеджеры проверяли и насколько болезненной была цена ошибки в этом сценарии. Если задания были короткими и безопасными, перенос на найм, финансы или медицину уже не так очевиден. Но сама прибавка в 18% достаточно неприятна, чтобы перестать бездумно называть ИИ «коллегой».