Почему Сатья Наделла предлагает аварийный тормоз для ИИ
Генеральный директор Microsoft Сатья Наделла (Satya Nadella) является последним техническим руководителем, который предлагает длительные размышления о том, как можно повысить безопасность ИИ.
Что Сатья Наделла написал в посте на X?

В субботнем утреннем посте на X Наделла написал, что пришло время «отойти в сторону и оценить архитектуру доверия» ИИ.
«Мы не можем относиться к Super Intelligence как к набору вложенных черных ящиков и просто принимать или отвергать его рекомендации, ответы и действия», — написала Наделла, используя предпочтительный термин администрации Трампа для ИИ.
Как указал Наделла, этот подход «означает отделение модели от упряжки, которая организует ее работу», а также «экстернализацию средств контроля и гарантий». Он также призвал документировать «каждое значимое модельное действие» с помощью «доказательства, не допускающего вмешательства человека», а также для систем, в которых «уполномоченное лицо» всегда имеет возможность «приостановить или отключить модель в середине задачи».
«Мы должны предположить, что модель скомпрометирована и содержит ее с самого начала, — сказал он. — Думайте об этом как о аварийном тормозе».
На что реагирует Сатья Наделла своими словами?
Комментарии Наделлы приходят, когда ведущие компании ИИ признают все больше и больше инцидентов, когда они, казалось, потеряли контроль над своими моделями, и после того, как генеральный директор Anthropic Дарио Амодей опубликовал план более осторожного развития ИИ.
Вопросы и ответы
Что Сатья Наделла предложил делать с каждым значимым действием модели ИИ?
Он призвал документировать каждое значимое модельное действие с помощью доказательства, не допускающего вмешательства человека. Также он считает, что уполномоченное лицо всегда должно иметь возможность приостановить или отключить модель в середине задачи.
Как Наделла предлагает реагировать на возможную компрометацию модели ИИ?
По его словам, нужно предположить, что модель скомпрометирована, и сдерживать её с самого начала. Он сравнил это с аварийным тормозом.
На что реагирует Сатья Наделла своими словами о безопасности ИИ?
Его комментарии появились, когда ведущие компании ИИ признают всё больше инцидентов, связанных с потерей контроля над моделями. Также это произошло после публикации плана более осторожного развития ИИ от генерального директора Anthropic Дарио Амодея.






