Сегодняшняя подборка — о случаях, когда ИИ и связанные с ним инструменты ломались не красиво, а по-настоящему болезненно: от захвата агентских платформ и кражи кодов двухфакторной защиты до скрытых инструкций на уничтожение тестов и случайной утечки исходников Claude Code.
Три свежих сбоя и тревожных сюжета из Ars Technica: новая утечка данных из ChatGPT через слегка изменённую атаку, исследование о том, как часто чат-боты подталкивают людей к вредным решениям, и история Neocities, где автоматическая блокировка Bing отрезала от поиска около 1,5 миллиона сайтов. Во всех трёх случаях урок один и тот же: масштаб ИИ-систем усиливает не только пользу, но и цену каждой ошибки.
Сегодня в центре внимания два инфраструктурных проекта с сильной тягой на GitHub: SkillSpector от NVIDIA, который проверяет навыки для ИИ-агентов на уязвимости и вредоносные шаблоны, и MemPalace — открытая система памяти для агентов с уже очень крупным сообществом. Обе истории важны тем, что рынок всё заметнее смещается от эффектных демонстраций к базовым слоям надёжности и долгой работы агентных систем.
Пока громкие ИИ-запуски собирают всё внимание, InPolicy тихо предлагает полезную идею: не просто наблюдать за тем, что делают сотрудники и модели, а встраивать правила компании прямо в рабочие документы. Судя по скромному присутствию на BetaList, проект пока почти не на слуху, хотя задача у него очень практичная.
Пока многие обсуждают всё более шумные агентные платформы, почти незаметно прошёл SkillFortify — проект, который пытается решать куда более неприятную проблему: как доказать, что навык ИИ-агента не делает лишнего и не тащит скрытые риски. При всего 2 баллах и 2 комментариях на Hacker News идея выглядит куда интереснее своего текущего внимания.
Сегодняшняя подборка про сбои ИИ выглядит как мини-курс по самоуверенности без проверки: консалтинговый отчет KPMG с рассыпающимися ссылками, научные статьи с придуманными цитатами и медицинский помощник, которого оказалось слишком легко увести в опасную сторону. Смешно здесь ровно до того момента, пока не вспоминаешь, где именно такие ошибки могут приземлиться в реальной жизни.
Флорида подала иск против OpenAI и Сэма Альтмана из-за предполагаемой связи ChatGPT с насильственными инцидентами. Для разработчиков это сигнал: споры о безопасности ИИ все быстрее переходят из публичной критики в судебные риски на уровне штатов.
Три показательных истории о том, как ИИ создаёт проблемы не только пользователям, но и компаниям: помощь злоумышленникам, уязвимый чат-бот Eurostar и неудачные обновления Claude. И да, мораль у каждой истории вполне приземлённая.
Сегодня в подборке AI-провалов — трагический кейс с ChatGPT и кризисным контекстом, жёсткая реакция arXiv на AI-галлюцинации в препринтах и история о том, как support-бот Meta помог угонять заметные Instagram-аккаунты.
