Калифорния хочет внедрить переключатель отключения для остановки моделей ИИ

Губернатор Калифорнии Гэвин Ньюсом объявил о подписании исполнительного указа, который ускоряет внедрение новых форм надзора со стороны третьих лиц по рискам для безопасности, связанным с системами ИИ. Это было сделано в ответ на комментарии к посту Дональда Трампа. В указе также предлагается разработка переключателя отключения, который может деактивировать модели в случае опасности.

Губернатор уже подписал закон, который устанавливает рамки для независимых организаций, способных оценивать системы ИИ по критериям безопасности и риска. Также принят закон, который создает государственный реестр для аудиторских организаций, ответственных за оценку соответствия систем ИИ государственным нормативам. Эти законы определяют стандарты независимости, прозрачности и целостности для таких организаций.

Учитывая недавние инциденты и инерцию федерального правительства, губернатор подписал указ, требующий от Государственной операционной агентства ускорить внедрение вышеупомянутых законов. Также создается группа мировых экспертов, которые в течение двух месяцев должны представить предложения по улучшению нормативных актов в области безопасности ИИ.

Предложения касаются, как минимум, четырех обязательств. Переключатель отключения должен срабатывать в экстренной ситуации, если компания теряет контроль над моделью или агентом. Однако некоторые эксперты предупреждают, что такой переключатель может оказаться бесполезным, так как системы ИИ распределены по различным серверам, и отключение одного компьютера не решит проблему.

Кроме того, система с переключателем отключения может быть более уязвимой для кибератак. Существует также риск, что суперразум может дублировать себя в других инфраструктурах и оставить инструкции для армии агентов ИИ, чтобы найти способ обойти этот переключатель. На практике, потеряв контроль над ИИ, людям будет практически невозможно его отключить.