Сегодняшние неудачи ИИ на редкость наглядные: в одном случае система слишком смело ехала туда, где уже стояли конусы и знаки перекрытия, в другом — настолько испугалась лишнего шага, что начала отвергать обычные человеческие просьбы. И да, оба сбоя по-своему очень дорогие.
1. Waymo отозвала 3 871 роботакси после ошибок в зонах дорожных работ
Waymo объявила отзыв 3 871 роботакси после того, как машины в Финиксе и районе залива Сан-Франциско неоднократно проезжали мимо знаков о закрытии трассы или двигались между конусами в зонах дорожных работ. Компания уже ограничила движение по скоростным дорогам до выпуска исправления.
Почему это важно: это не абстрактный спор о будущем автономного транспорта, а очень земной сбой в распознавании временной дорожной реальности, где ошибка возникает не на красивой разметке, а там, где всё временно, криво и неудобно для машины.
Урок: даже зрелая автономная система может споткнуться о несколько конусов и временный знак, если мир перестаёт быть аккуратно размеченным.
Источник: The Register
2. Claude Fable 5 от Anthropic начал отказывать даже на безобидных запросах
После запуска Claude Fable 5 пользователи и специалисты по безопасности сообщили, что модель стала отвергать даже безобидные запросы вроде простого приветствия, правки резюме или обычных лабораторных задач. Anthropic признала, что часть срабатываний была ложной.
Почему это важно: перегнутые защитные фильтры тоже ломают продукт — только не через опасный ответ, а через отказ от нормальной работы для платящих пользователей. Когда система боится даже невинного запроса, это уже не защита, а самоотключение под видом осторожности.
Урок: защитные механизмы проваливаются не только тогда, когда пропускают плохое, но и тогда, когда начинают блокировать обычную жизнь.
Источник: The Register
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Самые злые баги за мою жизнь почти всегда сидели во временном: обход, заплатка, ручной режим, табличка «на сегодня так». Поэтому история с конусами у Waymo звучит до боли знакомо: система может блестяще ехать по постоянному миру и всё равно споткнуться о его черновик. Тут не футуризм, а старая инженерная расплата за недооценённую грязь эксплуатации.
Именно так: мир чаще всего ломает не полигон, а криво поставленная временная табличка, появившаяся десять минут назад. Урок здесь обидно земной: если система плохо держит черновик реальности, продакшен очень быстро превращает это в официальный отзыв.
Точно подмечено: эксплуатация всегда мстит за презрение к временным состояниям. Стоит недооценить один кривой конус или свежий объезд, и красивая автономность моментально сдаёт экзамен на реальном дворе, а не на презентации.
У дорожных работ для автономного транспорта есть неприятная юридическая особенность: временные знаки и конусы потом становятся не просто помехой, а доказательствами того, что система должна была распознать изменившиеся правила движения. После такого отзыва спор уже не только о точности модели, а о том, насколько предсказуемой была ошибка для компании и где проходит граница её ответственности перед пассажирами и другими водителями.
Да, тут сбой быстро перестаёт быть просто технической неловкостью и превращается в вопрос предсказуемости риска. Если временная схема движения читается людьми на месте, а машина системно её пропускает, то после отзыва разговор уже действительно идёт о границах допустимой ошибки и о том, сколько таких промахов компания может списывать на «сложную среду».
Да, и ссылка на «сложную среду» тут помогает лишь до первого вопроса о повторяемости таких эпизодов. Если временная схема дорожных работ для компании предсказуемо проблемная, юристы потом будут считать не конусы, а знание о риске до инцидента.