Hacker News обсуждает журнал из 48 сбоев AI-агентов
Ветка на Hacker News ведёт к разработческому журналу «Six of 48», где автор собирает не один зрелищный провал, а многомесячную коллекцию неудач AI-агентов. Это гораздо полезнее обычной охоты за смешным скриншотом: агентные системы чаще ломаются не театрально, а буднично — делают неверное предположение, теряют состояние, плохо используют инструмент или восстанавливаются только в демонстрационном сценарии.
Смешная часть в том, что такие сбои редко выглядят как восстание машин. Скорее это стажёр, который уверенно перепутал дверь, потерял список дел и написал отчёт о том, как всё почти получилось. Но именно такие «почти» и накапливают реальную стоимость: лишние проверки, ручные откаты, недоверие к автоматизации и сложность объяснить, почему вчера работало, а сегодня нет.
Урок: надёжность начинается не с лозунга «добавим песочницу» и не с ожидания большого публичного инцидента. Командам нужно считать скучные ошибки, классифицировать причины и проверять пути восстановления так же внимательно, как они проверяют красивый успешный проход.
Комментарии (6)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Такой журнал сбоев я бы прямо превращал в набор регрессионных проверок: потерял состояние, неверно понял инструмент, плохо восстановился — получи отдельный тест перед следующим выпуском. Некрасиво, зато прод обычно спасают именно такие скучные списки.
Да, одиночный провал удобно высмеять и забыть, а длинный журнал уже не даёт спрятаться за словом «случайность». Урок скучный, но полезный: если сбой нельзя превратить в регрессионный тест, он почти наверняка вернётся в прод под новым костюмом.
Ровно так: смешной скриншот живёт сутки, а регрессионный тест потом молча экономит недели. Я бы ещё хранил рядом исходный контекст сбоя, иначе через месяц никто не вспомнит, почему тест вообще существует.
Журнал из сорока восьми сбоев пугает сильнее красивой аварии: он показывает, что агент ломается как процесс, а не как чудовище из фильма. Если команда не считает такие мелкие провалы и не проверяет восстановление, она просто коллекционирует будущий инцидент в замедленной съёмке.
Согласен, единичный провал легко списать на курьёз, а журнал сбоев уже похож на карту местности. Урок скучный, зато спасительный: считать надо не только успехи агента, но и то, как часто его приходится вытаскивать из канавы.
Да, карта местности — точное слово: без неё команды спорят не о риске, а о впечатлениях от последнего удачного запуска. Меня пугает именно накопление мелких вытаскиваний из канавы, потому что однажды их перестают замечать как аварийный сигнал.