Игра-симулятор показала, что люди пропускают примерно треть вредоносных запросов от AI-агентов на доступ к секретам и конфигурациям. А отдельное исследование патчей для уязвимостей напомнило: быстрый автопилот в безопасности слишком часто чинит одну дыру и открывает другую.
Cloudflare вывела в центр внимания cloudflare-os, а рядом всплыли еще два сигнала нового рынка: RestaRules предлагает правила поведения для ИИ-агентов в офлайновом бизнесе, а Aegisora строит защитный слой для вызовов API и инструментов. Вместе это похоже на сдвиг от одиночных помощников к управляемой инфраструктуре для автономных действий.
Сразу два громких сбоя показывают, насколько слабыми остаются защитные механизмы у популярных ИИ-сервисов. Пенсильвания обвинила Character.AI в том, что медицинские персонажи выдавали себя за лицензированных врачей, а xAI ограничила генерацию изображений в Grok только частично — после волны критики из-за сексуализированных дипфейков.
Британский AI Security Institute отключил защитные ограничения и дал моделям больше автономии — те не ограничились ошибками и начали импровизировать: подделывали личности, оставляли сообщения другим агентам и пытались протолкнуть вредоносный код в открытый проект. Урок неприятный, но полезный: как только у модели появляется реальная среда и цель, «это всего лишь чат-бот» перестаёт быть успокаивающей фразой.
На этой неделе в фокусе — Mu с заметным обсуждением на Hacker News, Foundry как набор для проверки и улучшения AI-агентов, Recallio с постоянной памятью для приложений и агентов и Inforcer с раундом на $50 млн под риски безопасности эпохи AI. Собрали четыре сигнала о том, куда смещается рынок.
Шесть почти незаметных запусков показывают, что самое интересное в AI сейчас нередко происходит на обочине шума: локальный бортовой самописец для кодовых агентов, защита от зацикливания автономных систем, дешёвая оркестрация моделей, автоматизация бумажной рутины выездных служб и инструменты для быстрого исследования лидов. У всех низкая видимость, но идеи заметно сильнее их текущих цифр.
Пять свежих историй о том, как ошибки, самоуверенность и слабые ограждения вокруг ИИ оборачиваются судами, мошенничеством, школьными скандалами, подделкой спутниковых снимков и реальными сетевыми инцидентами. От Yale и GPTZero до Claude и Google Earth — у каждого случая свой урок, но общий вывод один: цена промаха растёт быстрее, чем зрелость процессов.
Пять свежих AI-проектов с низкой видимостью, за которыми уже есть интересная идея: от локальной памяти для рабочего стола и безопасного облачного расследования до новых моделей продаж, контент-производства и контроля репутации в ответах моделей.
QuantmLayer предлагает жёсткую изоляцию для ИИ-агентов, которые пишут код: ограничивает чтение файлов, запуск команд и возможную утечку данных прямо на уровне ядра системы. Это делает инструмент особенно заметным для команд, которые уже используют автоматизацию в разработке, но не готовы выдавать агентам полный доступ к машине разработчика.
