ИИ-агенты постепенно выходят из демонстрационных песочниц в реальные продукты, и вместе с этим меняется список обязательной инфраструктуры. Теперь мало дать модели инструменты: нужно заранее решать, какие команды ей нельзя выполнять, какие данные нельзя выносить и как остановить ошибочное действие до ущерба.

Superagent: защита производственных ИИ-агентов

Superagent, компания из набора YC W24, представила открытый защитный слой для ИИ-агентов. Его задача — перехватывать вредные инструкции, подозрительные вызовы инструментов и попытки утечки клиентских данных до того, как агент успеет превратить ошибку модели в действие внутри продукта.

В запуске описаны три уровня защиты: фильтрация API, проверки во время выполнения и барьеры в конвейерах выпуска. Отдельно упоминается небольшая защитная модель SuperagentLM, которая должна помогать распознавать опасные сценарии для агентных систем.

Почему это важно: рынок всё чаще продаёт агентов как сотрудников, которым можно доверить рабочие процессы. Но если такой агент ходит по внутренним системам, вызывает инструменты и видит пользовательские данные, безопасность перестаёт быть дополнительной настройкой. Она становится частью базовой архитектуры продукта.

Сильная сторона Superagent — фокус не на ещё одном конструкторе агентов, а на защитной обвязке вокруг уже существующих внедрений. Это более зрелый сигнал для рынка: компании начинают спрашивать не только «что агент умеет», но и «как доказать, что он не сделает лишнего».

Источник: Y Combinator Launch