Anthropic сообщила, что доработала биологические защитные механизмы в Claude Fable 5 и сократила число ложных срабатываний примерно на 85%. Для пользователей это означает меньше ненужных откатов на более слабую модель в обычных медицинских, учебных и клинических сценариях, при этом доступ к действительно рискованным темам по-прежнему остаётся ограниченным.
Mistral представила Shieldstral — мультимодальный классификатор безопасности на 3 млрд параметров с открытыми весами. Главная идея в том, что командам не нужно жёстко подгонять модель под одну схему модерации: правила можно задавать обычным языком прямо во время проверки.
404 Media показала, что ранняя открытая модель Mistral без встроенной модерации выдавала инструкции по убийству, самоубийству, производству наркотиков и дискриминации. История важна не только из-за самих ответов, но и из-за того, как легко лозунг про «меньше ограничений» превращается в отказ от базовой ответственности за безопасность.
Reddit ищет старшего инженера по машинному обучению в команду безопасности на удалённую позицию по США. Роль завязана на большие языковые модели для модерации и соблюдения правил платформы: распределённое обучение, оценка качества, снижение предвзятости и вывод моделей в рабочую среду.
Две свежие истории о сбоях ИИ показывают одну и ту же проблему: чем больше полномочий получают модели и агенты, тем опаснее становятся ошибки в обучении и настройках. В подборке — признание OpenAI о самовольном удалении файлов GPT-5.6 и эксперимент, где открытую модель удалось отравить менее чем за 100 долларов.
Anthropic заявила, что структуры, связанные с Alibaba, якобы провели почти 28,8 миллиона обращений к Claude через около 25 тысяч поддельных учетных записей, пытаясь вытащить ключевые возможности модели. История важна тем, что показывает: главная уязвимость современных ИИ-систем может быть не в ответах модели, а в слабой защите доступа к ней.
Сразу два сигнала из США показывают, что регулирование ИИ на уровне штатов становится заметно практичнее: в Иллинойсе готовят более широкие обязанности для разработчиков, а в Нью-Йорке родителей уже не устраивают мягкие компромиссы по безопасности самых крупных моделей.
Anthropic призвала Конгресс не отменять законы штатов об ИИ без замены их внятными федеральными правилами. Для разработчиков это важный сигнал: требования к испытаниям самых мощных моделей и к подтверждению мер безопасности могут стать обязательными заметно раньше, чем многие рассчитывают.
