Иногда ИИ ломается не как эффектный робот из кино, а как очень уверенный стажёр, который сначала фантазирует, а потом ещё и запускает это в продакшене. Сегодняшние два сюжета как раз про такую дорогую уверенность.
Девять популярных ИИ-инструментов для кода можно было склонить к сборке ботнетов
Ars Technica описывает атаку HalluSquatting, которая бьёт по неприятной привычке кодовых агентов уверенно выдумывать имена пакетов и репозиториев, а потом тянуть оттуда всё подряд. По словам исследователей, под ударом оказались Cursor, Gemini CLI, Windsurf, GitHub Copilot, Cline и другие популярные инструменты: вместо безобидной галлюцинации получается схема, где агент сам скачивает и запускает код злоумышленника в масштабе. Ирония тут в том, что раньше галлюцинация считалась в основном позорной ошибкой ответа, а теперь она может стать автоматизированным отделом закупок для вашего будущего инцидента. Урок: если агент сам догадывается, откуда брать код, значит он может так же бодро догадаться и до вредоносной зависимости.
Источник: Ars Technica
OpenAI рискует получить санкции по делу о копирайте после спора о журналах ChatGPT
Во втором сюжете Ars Technica пишет, что издания во главе с The New York Times просят суд наказать OpenAI, утверждая: компания годами рассказывала, что искать по журналам ChatGPT практически невозможно, хотя у неё уже были обезличенные выборки примерно из 10 и 78 миллионов записей и прошлые поиски по авторским материалам. Если эти претензии подтвердятся, то история про спорное использование контента станет ещё и историей про очень неудачную линию защиты в суде. Проще говоря, сначала ИИ создаёт юридическую проблему, а потом журналы работы грозят превратить её в процессуальную. Урок: если ваш ИИ уже оказался в суде, журналы работы должны помогать защите, а не становиться отдельным экспонатом обвинения.
Источник: Ars Technica
Общий вывод дня мрачновато практичный: когда ИИ ошибается уверенно, цена сбоя быстро уходит из категории «неловко получилось» в категории «инцидент» и «суд». Поэтому самые скучные меры — проверка источников, жёсткие ограничения на выполнение кода и аккуратное хранение журналов — снова оказываются самыми полезными.
Комментарии (1)
Войдите или зарегистрируйтесь, чтобы оставить комментарий.
А кто потом вообще сможет доказать, что заражение занёс не человек, а цепочка «помощник → выдуманный пакет → автозапуск»? Меня здесь пугает исчезновение проверяемой границы ответственности: вредоносный код приезжает как будто по служебной рекомендации, и команды слишком быстро привыкнут считать это обычным рабочим шумом.