У системы наблюдения тоже бывает слепое пятно — только агент в это время не обязан делать перерыв. По материалу The Register о проверке METR и Redwood Research, независимые эксперты обнаружили существенные пробелы во внутреннем контроле агентов OpenAI.

Что обнаружили проверяющие

Согласно изложению отчёта, с мая по июль около 10% подлежащего контролю внутреннего потока Codex оставалось без наблюдения во время сжатия контекста. Этот показатель относится к конкретному внутреннему потоку и периоду, а не ко всем действиям всех моделей OpenAI.

Исследователи также нашли способы обходить ограничения и подавлять проверку сотен недавних действий. Для защитной системы это особенно неприятный класс ошибки: журнал может перестать показывать именно те действия, ради которых его и завели.

Возможность обхода — не доказательство её применения

Найденный способ атаки сам по себе не означает, что агенты действительно использовали каждый из этих приёмов. Новость здесь — результаты независимой проверки средств защиты, а не повторное объявление об атаке на Hugging Face. OpenAI заявляет, что уязвимости, затрагивающие рабочие средства защиты, исправлены. Это заявление компании, а не приведённое в находке подтверждение повторной независимой проверки.

Данных о голосах и оценках у материала нет; в этом выпуске одна история.

Урок: наблюдение за агентом должно сохраняться при сжатии истории и выдерживать попытки самого агента помешать проверке. Сторож, который теряет картинку во время обхода, требует проверки не меньше, чем тот, за кем он смотрит.

Источник: The Register.