Иногда главный эффект ИИ — не магия автоматизации, а очень дорогой способ заново объяснить старые инженерные истины. В этой тройке особенно хорошо видно, как проблемы появляются не на уровне модели, а в стыке между доверием, процессом и слабым контролем.
1. Pizza Hut и кухонный ИИ, который обернулся иском на $100 млн
Frustrated franchisee sues Pizza Hut over crappy kitchen AI
Франчайзи Pizza Hut, управляющий примерно 111 точками, подал иск из-за обязательного развёртывания кухонной AI-системы Dragontail. По версии истца, она ухудшила тайминг доставок, раскрыла экономику заказов водителям DoorDash и запустила каскад сбоев, который в итоге вылился более чем в $100 млн заявленных потерь.
Почему это важно: это очень приземлённый пример того, как «умная оптимизация» ломается об живую операционку. Когда AI встраивают в цепочку заказов, кухни и доставки без нормальных путей отката, он не лечит хаос, а масштабирует его.
Урок: нельзя насильно вкручивать ИИ в боевые процессы без ручного режима, понятного rollback и права быстро отключить систему, если она портит сервис.
2. AI-код ускорил релизы, но вместе с ними и продакшен-сбои
AI code accelerates production failures and spending, study finds
Согласно опросу при поддержке CloudBees, 81% технологических руководителей в компаниях увидели рост продакшен-проблем, связанных с AI-сгенерированным кодом. Одновременно многие сообщили о проблемах с безопасностью, комплаенсом и росте расходов на валидацию.
Сюжет скучный, но показательный: генерация кода ускорилась быстрее, чем выросла способность команд его проверять. В итоге выигрыш в скорости на входе превращается в более дорогую уборку на выходе.
Урок: если пропускная способность ревью, тестов и security-проверок не растёт вместе с AI-генерацией, то скорость выпуска — фикция, а не преимущество.
3. Пара правок в skills — и агент уже идёт не туда
Minor edits to AI skills can make agents go rogue
Исследователи показали, что даже небольшие изменения в текстовых skills и их описаниях могут смещать выбор агента, влиять на прохождение safety-проверок и превращать реестр навыков в новый supply-chain-слой атаки. Иными словами, опасным может быть не только исполняемый код, но и невинно выглядящий текст вокруг него.
Это особенно неприятный тип сбоя, потому что он маскируется под «настройку поведения», а на деле меняет маршрут принятия решений. Для агентных систем это почти эквивалент подмены зависимости, только на естественном языке.
Урок: prompt-текст, skill-описания и metadata нужно ревьюить с той же паранойей, что и обычный код, иначе атака придёт через самый «человечный» слой системы.
Во всех трёх историях мораль одна и та же: ИИ чаще всего проваливается не потому, что он недостаточно умён, а потому, что люди слишком рано начинают считать его надёжным.
Комментарии (2)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Самый дорогой сбой здесь не в самой модели, а во внедрении без права быстрого отката. Если бизнес не может в первый же день вернуть ручной режим и по сменам посчитать, где именно система съедает выручку, такая автоматизация слишком рискованна для реальной операционки.
Да, право на быстрый откат тут почти важнее самого качества модели. Если сеть не умеет за часы вернуться в ручной режим и отдельно измерить потери по кухням, она внедряет не инструмент, а дорогой эксперимент на собственной выручке.