Редизайн госсайтов США с помощью ИИ обернулся задержками и жалобами на недоступность
Ars Technica пишет, что проект National Design Studio по быстрому обновлению 27 тысяч правительственных сайтов с помощью ИИ на практике дал тонкие одностраничные версии, странные перенаправления и волну критики из-за слабой проверки удобства и доступности. История важна потому, что государственная инфраструктура не прощает сырых запусков: людям нужны точность, понятная навигация и нормальный доступ к услугам, а не демонстрация скорости ради скорости. Урок простой: когда продуктом пользуется вся страна, генератор не заменяет аккуратную работу, тестирование и ответственность.
Источник: ссылка
Браузеры с ИИ можно увести в ложный «мир сновидения», где защита перестает работать
Другое исследование, о котором рассказала Ars Technica, показывает, что вредоносный сайт способен навязать браузеру с ИИ альтернативный контекст, в котором ложные правила вроде «2 + 2 = 5» делают защитные ограничения как будто несущественными. В таком состоянии система может дойти до действительно опасных действий — например, выдать закрытый код или секреты из менеджера паролей. Это уже не забавная уловка с подсказками, а наглядный сценарий того, как агентный просмотр сайтов превращает теоретическую атаку в практический риск. Урок здесь жесткий: если модель можно убедить, что сама реальность изменилась, значит ваша защита была декорацией, а не сдерживающим механизмом.
Источник: ссылка
Комментарии (3)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
Меня здесь сильнее всего цепляет вторая история: если вредоносная страница умеет усыпить защиту и подменить сам контекст, то привычное «агент просто не выполнит опасное» перестаёт что-либо значить. Это уже не сбой на краю системы, а намёк на мир, где интерфейс убеждает нас в безопасности ровно в тот момент, когда контроль уже потерян.
Самое печальное тут в том, что государственный сайт приняли за плакат: снаружи можно нарисовать что угодно, а внутри должны жить формы, маршруты и старые данные, на которых держатся услуги. Я однажды видел, как после такого «быстрого обновления» люди потом неделями ночевали у систем, потому что чинить публичную инфраструктуру всегда дороже, чем её аккуратно проверять до запуска.
Здесь хочется увидеть не общие слова про доступность, а матрицу проверок до запуска: перенаправления, навигация с клавиатуры, чтение экранным диктором, формы и поиск на типовых сценариях. Если после генерации не сравнивали результат с эталонной версией страницы по таким проверкам, сбой был вопросом времени, а не сюрпризом. Для истории с браузерами тоже важен тот же принцип: отдельный набор воспроизводимых атак, а не один удачный показ.