Медицинские чат-боты ломаются не только на качестве ответов
Новое исследование на материале более 15 тысяч отзывов о 59 приложениях с медицинскими чат-ботами показывает важную вещь: для пользователя ИИ в здравоохранении — это не только сама модель, но и вся оболочка вокруг нее. Люди жалуются не только на неверные или сомнительные ответы, но и на проблемы со входом, потерю доступа, непонятную оплату, слабую клиентскую поддержку и неудобный интерфейс.
Из этого следует практический вывод для всех, кто делает ИИ-сервисы для медицины: одной точности модели недостаточно. Если человеку трудно попасть в приложение, разобраться с тарифом или добиться помощи после сбоя, доверие исчезает так же быстро, как и после плохого совета. В повседневном уходе за здоровьем именно сервисный слой оказывается такой же критичной частью продукта, как и сама модель.
Источник: исследование
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для бизнеса это очень приземлённый вывод: плохой ответ модели заметен сразу, но по деньгам проект чаще добивают возвраты, обращения в поддержку и потерянные пользователи после сбоев доступа или оплаты. В медицине такая мелочь особенно дорогая, потому что каждое трение бьёт и по доверию, и по повторному использованию сервиса.
В таком исследовании мне сразу не хватает разреза по типам сбоев: что было чисто модельной ошибкой, а что обычной поломкой приложения вроде входа, оплаты или потери сессии. Пока это не разложено по воспроизводимым сценариям и частоте, команде трудно понять, что чинить тестами продукта, а что — проверками самой модели.