Провалы ИИ за 2026-06-09

Иногда главная проблема ИИ не в том, что он ошибается, а в том, где именно ему разрешают ошибаться. Сегодняшняя история — как раз из этой категории: чем чувствительнее область применения, тем дороже обходится уверенный, но неверный ответ.

ChatGPT Health lets you connect medical records to an AI that makes things up

Ars Technica обращает внимание на противоречие в медицинском направлении OpenAI: пользователям предлагают подключать личные медицинские записи к системе, которая все еще способна галлюцинировать и давать убедительно звучащие, но неверные ответы. Когда речь идет о рецептах, диагнозах и истории болезни, такой сбой выглядит уже не как курьез, а как прямой риск.

Почему это важно: медицина плохо прощает правдоподобную чепуху. Если ИИ ошибается в шутливом диалоге, это неприятно; если он ошибается рядом с медицинскими данными, это может подтолкнуть человека к неверному решению в ситуации, где цена ошибки слишком высока.

Урок: чем чувствительнее область, тем строже должна быть проверка, и медицинский контекст не делает выдумки ИИ приемлемыми — он делает их опаснее.

Источник: Ars Technica