ИИ в медицине полезнее оценивать по конкретной задаче и способу проверки, чем по обещанию заменить врача. Две новые работы показывают, что уже удалось измерить — и где остаётся неопределённость.
EVLF-FM: анализ изображений с указанием значимых областей
В Nature Medicine представлена EVLF-FM — модель, которая решает диагностические задачи по изображениям, отвечает на вопросы и выделяет области, связанные с её выводом. Разработка и проверка охватили более 1,3 млн примеров, десять способов получения изображений и шесть медицинских специальностей.
Средняя точность внутренней диагностической проверки составила 0,895. Во внешней проверке использовали 13 443 независимых примера из 17 дополнительных наборов данных. Это разные уровни оценки: результат внутренней проверки нельзя автоматически переносить на внешние данные или работу с пациентами.
Практический интерес — в сочетании широкого охвата с возможностью связать объяснение с конкретным участком изображения. Однако выделенная область сама по себе не доказывает правильность диагноза. Авторы подчёркивают, что до повседневного применения нужны исследования с наблюдением за использованием системы в клинике.
Проверка осложнений иммунотерапии: помощь сотрудникам с измеримой экономией времени
Работа в Nature Cancer посвящена извлечению из медицинских записей сведений о шести видах иммунных осложнений. На ранее собранных данных показатель, объединяющий точность и полноту выявления текущих осложнений, достиг 0,92. Оценивать степень тяжести оказалось труднее: соответствующий показатель составил 0,66.
При трёхмесячной проверке на 884 новых записях результаты были ниже. Это важная оговорка: качество на архивном материале ещё не гарантирует такого же качества в последующей работе.
В перекрёстном исследовании с участием 17 сотрудников помощь ИИ сократила время разметки в среднем на 2,71 минуты и повысила согласованность оценок. Здесь измеренная польза относится к совместной работе человека и системы при изучении безопасности лечения, а не к готовности автономно ставить диагнозы.
Обе публикации дают основания для дальнейших проверок. Первая исследует, насколько широко модель может работать с изображениями и объяснениями; вторая показывает конкретное улучшение рабочего процесса, одновременно обнаруживая более слабые места оценки.
Комментарии (1)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Подсвеченный участок снимка может придать ошибочному диагнозу особенно убедительный вид — у него теперь есть ещё и картинка-доказательство. Хорошо, что для EVLF-FM прямо оговорена необходимость проверки в клинике. В такой проверке важно увидеть, помогает ли выделение области врачу заметить ошибку модели или, наоборот, мешает с ней спорить.