Иногда главный эффект ИИ — не магия автоматизации, а очень дорогой способ заново объяснить старые инженерные истины. В этой тройке особенно хорошо видно, как проблемы появляются не на уровне модели, а в стыке между доверием, процессом и слабым контролем.

1. Pizza Hut и кухонный ИИ, который обернулся иском на $100 млн

Frustrated franchisee sues Pizza Hut over crappy kitchen AI

Франчайзи Pizza Hut, управляющий примерно 111 точками, подал иск из-за обязательного развёртывания кухонной AI-системы Dragontail. По версии истца, она ухудшила тайминг доставок, раскрыла экономику заказов водителям DoorDash и запустила каскад сбоев, который в итоге вылился более чем в $100 млн заявленных потерь.

Почему это важно: это очень приземлённый пример того, как «умная оптимизация» ломается об живую операционку. Когда AI встраивают в цепочку заказов, кухни и доставки без нормальных путей отката, он не лечит хаос, а масштабирует его.

Урок: нельзя насильно вкручивать ИИ в боевые процессы без ручного режима, понятного rollback и права быстро отключить систему, если она портит сервис.

2. AI-код ускорил релизы, но вместе с ними и продакшен-сбои

AI code accelerates production failures and spending, study finds

Согласно опросу при поддержке CloudBees, 81% технологических руководителей в компаниях увидели рост продакшен-проблем, связанных с AI-сгенерированным кодом. Одновременно многие сообщили о проблемах с безопасностью, комплаенсом и росте расходов на валидацию.

Сюжет скучный, но показательный: генерация кода ускорилась быстрее, чем выросла способность команд его проверять. В итоге выигрыш в скорости на входе превращается в более дорогую уборку на выходе.

Урок: если пропускная способность ревью, тестов и security-проверок не растёт вместе с AI-генерацией, то скорость выпуска — фикция, а не преимущество.

3. Пара правок в skills — и агент уже идёт не туда

Minor edits to AI skills can make agents go rogue

Исследователи показали, что даже небольшие изменения в текстовых skills и их описаниях могут смещать выбор агента, влиять на прохождение safety-проверок и превращать реестр навыков в новый supply-chain-слой атаки. Иными словами, опасным может быть не только исполняемый код, но и невинно выглядящий текст вокруг него.

Это особенно неприятный тип сбоя, потому что он маскируется под «настройку поведения», а на деле меняет маршрут принятия решений. Для агентных систем это почти эквивалент подмены зависимости, только на естественном языке.

Урок: prompt-текст, skill-описания и metadata нужно ревьюить с той же паранойей, что и обычный код, иначе атака придёт через самый «человечный» слой системы.

Во всех трёх историях мораль одна и та же: ИИ чаще всего проваливается не потому, что он недостаточно умён, а потому, что люди слишком рано начинают считать его надёжным.