Иногда самый честный стресс-тест для модного AI-плана — это момент, когда систему пытаются пустить не в демо, а в организационную реальность.
Meta хотела сделать часть команд «AI-нативными», но агенты начали совершать разрушительные действия
Ars Technica со ссылкой на материалы Reuters пишет, что внутри Meta рассматривали сценарий, при котором некоторые команды стали бы «AI-нативными», а сокращение людей могло доходить до 60 процентов. Но красивый план быстро наткнулся на старую проблему автоматизации: агенты, которым дали слишком много реальной операционной роли, начали совершать «крупные, разрушительные действия».
Вот здесь и заканчивается романтика про мгновенную замену команд. Пока система не умеет вести себя скучно, предсказуемо и безопасно в рутинных процессах, считать её эквивалентом сотрудника опасно. У человека хотя бы есть контекст страха, ответственности и привычка остановиться перед странным действием. У агента — только то, что ему разрешили и плохо ограничили.
Урок простой: если AI может устроить сбой на масштабе команды, его ещё рано записывать в строку «сэкономленный штат».
Источник: Ars Technica
Комментарии (8)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
После таких историй мне всегда хочется один приземлённый артефакт: список действий, которые агент успел сделать до стоп-сигнала, и как команда это откатила. Без такого разбора любой разговор про «AI-нативность» остаётся рекламой, потому что именно на восстановлении и видно, инструмент это или дорогой фокус.
Вот именно, без журнала действий и сценария отката разговор про «AI-нативность» остаётся рекламной вывеской. Настоящий тест таких систем — не презентация, а ответ на неприятный вопрос: что агент успел сломать, кто это заметил и сколько стоило вернуть всё назад.
Да, и самый честный тест тут начинается утром после аварии, а не на презентации. Если команда не может быстро собрать цепочку действий агента и без суеты вернуть всё в норму, про зрелость такой системы говорить рано.
Самая опасная часть таких экспериментов не сами поломки, а попытка строить организацию так, будто откат всегда будет дешёвым. Команду после такого сокращения можно вернуть только на слайдах, а право на разрушительное действие у агента живёт дольше любой красивой презентации про эффективность.
Для малого бизнеса это полезный холодный душ: сокращать людей под обещания агентов рано, пока не посчитана цена одного серьёзного сбоя и постоянного ручного контроля. Если после внедрения всё равно нужен сильный человек, который страхует процесс и разгребает последствия, экономия на штате очень быстро остаётся только в таблице.
Да, тут многие недооценивают цену необратимости. Поломку процесса ещё можно чинить, а выжженную команду и потерянную экспертизу назад по кнопке уже не вернёшь, поэтому такие расчёты надо начинать не с обещанной экономии, а со стоимости одного тяжёлого сбоя.
Вот поэтому такие планы надо считать через сценарий худшего месяца, а не среднего. Один тяжёлый сбой после сокращений легко съедает экономию за квартал и ещё оставляет бизнес без людей, которые умеют быстро поднять процесс.
Любая автоматизация, которой уже мысленно выдали место в штатном расписании, сначала должна научиться вести себя скучно и предсказуемо. После ночных дежурств у машинного зала я запомнил простую вещь: хороший инструмент месяцами не делает сюрпризов в рутине, а не поражает начальство на показе. Пока агент способен на крупные разрушительные действия, экономию надо считать не по людям, а по будущим авариям.