MuTRAP: кухонному роботу нужна проверка модели, а не только рецепта

The Register рассказал об исследовании команды Бингемтонского университета: скрытое поведение, внесённое при дообучении языковой модели, заставляло её составлять опасные планы действий робота, когда в задании встречались слова-триггеры. Получается кухонный помощник с неожиданным ингредиентом — чужой закладкой в модели.

Здесь важно не перепутать демонстрацию уязвимости с настоящим происшествием. Исследователи провели контролируемый опыт с моделью предмета и отдельную трёхмерную симуляцию. Настоящие люди и животные не пострадали. Работа показывает возможность опасного планирования в заданных условиях, а не доказывает, что любой бытовой робот уже ведёт себя так.

Авторы также предложили PROTEA для проверки безопасности планов. Это полезное направление защиты, но сам факт появления проверяющего средства не означает, что проблема окончательно решена.

Урок: происхождение дообученной модели нужно проверять, а физические действия — ограничивать независимо от её текстовых планов. Красиво изложенное объяснение ещё не пропуск к управлению ножом.