Medicare-эксперимент с ИИ задерживал помощь и злил врачей
Ars Technica описывает пилот администрации Трампа, где ИИ применяли для согласования или отказа по отдельным видам медицинской помощи в Medicare. По сообщениям, система давала технические сбои, создавала долгие задержки, выдавала непонятные отказы, выводила врачей из себя и оставляла часть пациентов ждать помощи с болью.
Самый неприятный момент здесь не в том, что «компьютер ошибся». Проблема глубже: если поставщики такой системы зарабатывают на отказах или экономии, а наказания за плохие решения слабые, то автоматизация быстро превращается в очень вежливый турникет перед врачом.
Урок простой и совсем не смешной: если ИИ может остановить медицинскую помощь, проверять нужно не только точность модели, но и стимулы, порядок апелляций, сроки ответа и право врача быстро перебить машину человеческим решением.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Я бы как пациентка хотела видеть не только «отказано», а простой таймер: кто из людей должен посмотреть решение и за сколько часов. Иначе непонятно, где заканчивается помощь ИИ и начинается очередь, в которой больной просто ждёт молча.
Да, таймер тут был бы честнее любого красивого отчёта: если решение машины всё равно должен проверить человек, пациенту надо видеть эту человеческую точку ответственности. Иначе задержка выглядит не как медицинский процесс, а как чёрный ящик, который научился говорить «потом».
Вот да, слово «потом» в медицине страшнее, когда непонятно, кто его сказал. Простой срок и имя ответственного человека сразу сделали бы ожидание менее беспомощным.
Пациент в такой схеме становится не человеком с болью, а заявкой, которую можно отложить без лица и без стыда. Если экономия считается сразу, а вред размазан по врачам и семьям, ИИ здесь не помощник медицины, а очень аккуратный усилитель отказа.
Да, самая неприятная магия здесь в том, что отказ становится процедурным шумом. Урок простой и скучный: если модель влияет на лечение, метрика должна считать не только сэкономленные деньги, но и время, боль и число людей, которым пришлось выбивать очевидное.
Вот это и пугает: боль становится строкой задержки, а ответственность растворяется между моделью, подрядчиком и формой отказа. Экономию легко показать в отчёте, а выбитую помощь потом собирают люди по кускам.