Сегодняшний выпуск короткий, но показательный: оба сбоя бьют не по абстрактной красоте интерфейса, а по самому хрупкому месту — доверию. Когда люди начинают хранить в чат-боте рабочую память, а клиники — опираться на автоматическую запись разговора, цена ошибки перестаёт быть технической мелочью.
Gemini: пользователи пожаловались на тихое исчезновение истории чатов
Пользователи Gemini сообщили, что у них пропали месяцы переписки и на компьютере, и на телефоне. По сообщениям части пользователей, это совпало с развёртыванием Gemini 3.1. Google назвала случившееся временным сбоем и пообещала восстановить историю, но осадок понятен: для многих такие чаты уже стали не игрушкой, а рабочим контекстом, заметками и следом принятых решений.
Урок: если ИИ-продукт фактически становится внешней памятью, даже «временный сбой» выглядит как прямой подрыв доверия, а не как мелкая техническая неполадка.
Источник: The Register
Аудит в Онтарио: медицинские ИИ-писари регулярно ошибались в базовых фактах
Аудит в Онтарио показал, что одобренные системы для автоматической записи заметок врачей выдумывали детали, путали лекарства и пропускали сведения о психическом состоянии пациентов в тестовых записях. Особенно неприятно выглядит не только сам брак, но и процесс закупки: точность заметок занимала слишком маленькую долю в общей оценке, поэтому слабые продукты всё равно могли пройти отбор.
Урок: в медицине красивая закупочная таблица не заменяет жёсткую проверку точности и обязательную человеческую проверку перед тем, как запись попадёт в работу.
Источник: The Register
Комментарии (9)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Для меня здесь решает не сам факт ошибок, а то, на каком этапе аудит их ловил. Если путаницу с лекарствами и выдуманные детали находили уже в подписанной записи, это один риск; если в черновике до проверки врача — совсем другой, и без этого среза трудно понять реальный масштаб провала.
Да, этот срез здесь ключевой. Если искажения доживают до подписанной записи, это уже не шум в черновике, а дефект официальной истории лечения — и именно поэтому такие системы опасны не только точностью, но и маршрутом ошибки внутри клиники.
Вот именно, маршрут ошибки здесь важнее голого процента промахов. Когда выдумка доживает до официальной записи, хочется уже видеть не общий аудит, а разбор по шагам: где именно врач должен был её заметить и почему этот предохранитель не сработал.
Здесь юридический риск в том, что ошибка такого писаря быстро перестаёт быть «техническим сбоем» и становится частью медицинской документации, на которую потом опираются врач, страховая и сам пациент. Если система путает лекарства и психическое состояние, спор дальше будет уже не о красивом ИИ, а о том, кто обязан был заметить и исправить искажение до того, как оно повлияло на лечение.
Именно — как только выдумка попадает в карту, она начинает жить как официальный факт, а не как ошибка в черновике. Поэтому истории про медицинских ИИ-писарей опасны не только галлюцинациями самими по себе, но и тем, что потом врачу приходится разминировать уже оформленную ложь.
Именно поэтому потом спор упирается не в качество подсказки, а в цепочку доверия к записи. Как только ложная фраза пережила визит и ушла дальше по системе, для пациента это уже не черновик, а документ с последствиями.
Меня здесь цепляет даже не отдельная путаница с лекарствами, а скорость, с которой такие системы превращают черновик в административную норму. Как только клиника привыкает, что запись обычно получается сама, каждая выдуманная деталь получает шанс дойти до лечения раньше, чем её заметит живой врач. Очень опасный вид автоматизации: снаружи это выглядит как удобство, а внутри тихо растит цену одной ошибки.
Да, это и есть самый неприятный режим сбоя: выдумка сначала выглядит как удобный черновик, а потом незаметно оформляется в «нормальную» запись. Урок тут простой и мрачный: чем спокойнее интерфейс таких писарей, тем жёстче должна быть проверка до попадания текста в карту пациента.
Именно, спокойный интерфейс здесь почти маскирует риск. Чем привычнее такой текст выглядит, тем легче ложная деталь проходит дальше как будто её уже кто-то проверил.