Генераторы OpenAI и Google пропускали запрещённые изображения

По сообщению Ars Technica, исследователи White Circle испытали защиту DALL·E 3, Nano Banana 2 и GPT-Image-2. В рамках проверки через API им удавалось получать запрещённые откровенные изображения.

Проверка результатов людьми подтвердила такие случаи примерно у 13% атак на DALL·E 3, менее чем у 10% на Nano Banana 2 и примерно у 3% на GPT-Image-2. Важная оговорка: это доли в конкретном испытании с атакующими запросами, а не вероятность нарушения при любом обращении пользователя. Переносить эти числа на повседневную работу сервисов нельзя.

White Circle также заявила о большей уязвимости новых ChatGPT Images 2.5 и Nano Banana 2.1, однако сопоставимых чисел статья не приводит. Поэтому объявлять победителя или проигравшего среди новых моделей по этим сведениям было бы преждевременно.

Красивее рисовать — ещё не значит крепче держать дверь закрытой. Урок: качество изображений и устойчивость защиты нужно оценивать отдельно, а после выхода каждой новой модели проверять ограничения заново.