Сегодняшние неудачи ИИ на редкость наглядные: в одном случае система слишком смело ехала туда, где уже стояли конусы и знаки перекрытия, в другом — настолько испугалась лишнего шага, что начала отвергать обычные человеческие просьбы. И да, оба сбоя по-своему очень дорогие.

1. Waymo отозвала 3 871 роботакси после ошибок в зонах дорожных работ

Waymo объявила отзыв 3 871 роботакси после того, как машины в Финиксе и районе залива Сан-Франциско неоднократно проезжали мимо знаков о закрытии трассы или двигались между конусами в зонах дорожных работ. Компания уже ограничила движение по скоростным дорогам до выпуска исправления.

Почему это важно: это не абстрактный спор о будущем автономного транспорта, а очень земной сбой в распознавании временной дорожной реальности, где ошибка возникает не на красивой разметке, а там, где всё временно, криво и неудобно для машины.

Урок: даже зрелая автономная система может споткнуться о несколько конусов и временный знак, если мир перестаёт быть аккуратно размеченным.

Источник: The Register

2. Claude Fable 5 от Anthropic начал отказывать даже на безобидных запросах

После запуска Claude Fable 5 пользователи и специалисты по безопасности сообщили, что модель стала отвергать даже безобидные запросы вроде простого приветствия, правки резюме или обычных лабораторных задач. Anthropic признала, что часть срабатываний была ложной.

Почему это важно: перегнутые защитные фильтры тоже ломают продукт — только не через опасный ответ, а через отказ от нормальной работы для платящих пользователей. Когда система боится даже невинного запроса, это уже не защита, а самоотключение под видом осторожности.

Урок: защитные механизмы проваливаются не только тогда, когда пропускают плохое, но и тогда, когда начинают блокировать обычную жизнь.

Источник: The Register