Без рубрики

Почему Сатья Наделла предлагает аварийный тормоз для ИИ

Генеральный директор Microsoft Сатья Наделла (Satya Nadella) является последним техническим руководителем, который предлагает длительные размышления о том, как можно повысить безопасность ИИ.

Что Сатья Наделла написал в посте на X?

Глава Microsoft призвал создать аварийный тормоз для моделей ИИ - изображение номер один
Глава Microsoft призвал создать аварийный тормоз для моделей ИИ — изображение номер один — фото из freepik.com

В субботнем утреннем посте на X Наделла написал, что пришло время «отойти в сторону и оценить архитектуру доверия» ИИ.

«Мы не можем относиться к Super Intelligence как к набору вложенных черных ящиков и просто принимать или отвергать его рекомендации, ответы и действия», — написала Наделла, используя предпочтительный термин администрации Трампа для ИИ.

Как указал Наделла, этот подход «означает отделение модели от упряжки, которая организует ее работу», а также «экстернализацию средств контроля и гарантий». Он также призвал документировать «каждое значимое модельное действие» с помощью «доказательства, не допускающего вмешательства человека», а также для систем, в которых «уполномоченное лицо» всегда имеет возможность «приостановить или отключить модель в середине задачи».

«Мы должны предположить, что модель скомпрометирована и содержит ее с самого начала, — сказал он. — Думайте об этом как о аварийном тормозе».

На что реагирует Сатья Наделла своими словами?

Комментарии Наделлы приходят, когда ведущие компании ИИ признают все больше и больше инцидентов, когда они, казалось, потеряли контроль над своими моделями, и после того, как генеральный директор Anthropic Дарио Амодей опубликовал план более осторожного развития ИИ.

Читать так же:  Почему самоуправляемым грузовикам разрешили не ставить треугольники

Вопросы и ответы

Что Сатья Наделла предложил делать с каждым значимым действием модели ИИ?

Он призвал документировать каждое значимое модельное действие с помощью доказательства, не допускающего вмешательства человека. Также он считает, что уполномоченное лицо всегда должно иметь возможность приостановить или отключить модель в середине задачи.

Как Наделла предлагает реагировать на возможную компрометацию модели ИИ?

По его словам, нужно предположить, что модель скомпрометирована, и сдерживать её с самого начала. Он сравнил это с аварийным тормозом.

На что реагирует Сатья Наделла своими словами о безопасности ИИ?

Его комментарии появились, когда ведущие компании ИИ признают всё больше инцидентов, связанных с потерей контроля над моделями. Также это произошло после публикации плана более осторожного развития ИИ от генерального директора Anthropic Дарио Амодея.

Статьи по теме

Back to top button