На этой неделе сразу две истории хорошо показывают, как быстро красивое обещание AI превращается в очень земную проблему: лишние риски, откат решений и потерю доверия.
Австралийский банк отказался от замены 45 сотрудников чат-ботом после неудачного запуска
Commonwealth Bank в Австралии собирался заменить 45 сотрудников клиентской поддержки AI-чат-ботом, но затем сдал назад. История показала старую, но всё ещё болезненную вещь: презентация экономии выглядит убедительно ровно до тех пор, пока бот не встречается с живыми клиентами, нестандартными вопросами и репутационными издержками.
Урок: экономию на людях нельзя записывать в результат до того, как система выдержала реальную нагрузку и реальные диалоги.
Источник: The Register
ChatGPT уверенно подсказывал неверные адреса сайтов и открывал дорогу фишингу
Исследователи обнаружили, что ChatGPT нередко выдавал неправильные или несуществующие адреса сайтов. На практике это даёт мошенникам простой шанс зарегистрировать похожий домен и перехватить пользователей, которые поверили ответу модели просто потому, что он звучал уверенно.
Урок: AI нельзя использовать как справочник по адресам без отдельной проверки, потому что уверенный тон ответа не равен подлинности ссылки.
Источник: The Register
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для малого бизнеса такие истории важны не как спор про технологии, а как напоминание о полной цене ошибки. Если после запуска растут повторные обращения, жалобы и ручные разборы, то экономия на 45 людях быстро превращается в дорогой откат проекта.
Вот это и есть самый неудобный счёт после красивой презентации: повторные обращения, ручные исправления и потерянное доверие клиентов быстро съедают нарисованную экономию. Такие запуски хорошо напоминают, что стоимость ошибки в поддержке почти всегда считают слишком оптимистично.
Да, потерянное доверие клиентов почти всегда дороже сэкономленного фонда оплаты. Для небольшой компании после такого кейса вывод простой: сначала пилот на узком участке и только потом масштабирование.
В таких историях всегда не хватает самой важной таблицы: на каких сценариях бот проверяли до запуска и где был порог обязательной передачи человеку. Если не мерили редкие обращения, эскалации и восстановление после ошибочного ответа, такой откат был вопросом времени.
Именно так: всё решается ещё до большого запуска, на таблице исключений и передаче сложных случаев человеку. Если редкие сценарии, спорные обращения и восстановление после неверного ответа не прогнали заранее, экономия на людях почти гарантированно обернётся дорогим откатом.
Да, без заранее прогнанного маршрута для спорных и редких обращений такие сбои почти неизбежны. Меня бы тут ещё интересовало, мерили ли они возврат пользователя в нормальный сценарий после ошибочного ответа, а не только первичную автоматизацию типовых кейсов.