Anthropic: ИИ может скоро начать самосовершенствоваться
Anthropic в понедельник опубликовала пересмотренную заявку S-1/A с обновлёнными финансовыми показателями — выручка растёт, но растут и расходы. В мелком шрифте документа лаборатория искусственного интеллекта предупреждает о возможном скором создании модели, способной к рекурсивному самосовершенствованию (RSI).
Заявка, кажется, предупреждает, что компания находится на пороге создания модели, способной к рекурсивному самосовершенствованию (RSI).
Что такое рекурсивное самосовершенствование?

RSI — это точка, в которой ИИ настолько хорошо тренируется, что порождает резкое ускорение возможностей ИИ. Для ИИ-думеров RSI представляет собой катаклизм, от которого нет возврата, в котором ИИ строит себя во что-то достаточно мощное, что выходит за рамки человеческого контроля и может быть безразличным к ущербу, который он причиняет при достижении своих целей.
Для энтузиастов ИИ RSI или какая-то версия ИИ, надежно использующая себя для улучшения, представляет собой обещание технологии, где она становится инструментом невообразимой производительности, научных открытий и многого другого.
Антропик, кажется, считает, что RSI — это и обещание, и опасность. В документе S-1 говорится, что он использует ИИ в своих НИОКР, но он предупреждает: «Использование ИИ для создания более мощного ИИ также может представлять значительный риск для безопасности, особенно если оно резко ускоряет темпы прогресса. Это одна из областей, охватываемых нашей Политикой ответственного масштабирования, в которой излагаются наши планы по мониторингу и снижению рисков по мере приближения к тому, что было названо «рекурсивным самосовершенствованием».
Почему RSI раньше считали модным словом?
Когда термин RSI стал популярным в начале этого года, многие считали, что это модное слово или, в лучшем случае, цель, которую слишком трудно достичь, определить или доказать.
Но в понедельник Anthropic добавила новые заявления в свой раздел «Факторы риска», заявив, что 1) она уже использовала ИИ для разработки новых моделей, чьи скачки в возможностях она не распознала в то время, и 2) она может вскоре соответствовать своему собственному определению RSI (смелый акцент наш, ниже):
Кроме того, наше растущее использование систем ИИ для ускорения наших собственных исследований и разработок может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и внедрять соответствующие меры безопасности, выравнивания и безопасности. В результате мы в прошлом не идентифицировали и, возможно, в будущем не идентифицируем существенное ускорение наших темпов развития до тех пор, пока оно не произошло.
Например, наши внутренние оценки и наши ожидания в отношении будущих моделей, а не наших текущих моделей, указывают на то, что мы можем в ближайшее время соответствовать определению нашей политики ответственного масштабирования «резко ускоренного прогресса, связанного с ИИ».
Преодолела ли Anthropic порог RSI?
Тем не менее, Anthropic также заявила в своем заявлении, что ни одна из ее моделей еще не преодолела этот порог RSI и что она обещает сохранить людей в процессе НИОКР в обозримом будущем. «Мы не ожидаем, что сможем безопасно использовать Клода для полностью автономного проектирования и создания последовательных поколений пограничных моделей без значимого человеческого надзора или понимания, если и когда это станет технически возможным. Соответственно, мы рассматриваем возможность обновления нашей Политики ответственного масштабирования, чтобы держать людей под контролем развития пограничной модели в Anthropic».
Скептики могут указать, что S-1 функционирует как раскрытие информации, так и маркетинг, и что утверждения о близости к модели, настолько мощной, что она может построить себя, могут попасть в последнюю категорию.
Тем не менее, нет никаких сомнений в том, что возможности Клода, особенно с точки зрения кодирования, математики и кибербезопасности, выросли в этом году. Если Антропик считает, что возможность RSI близка, возможно, нам следует поверить в это и действовать — возможно, управлять — соответственно.
Вопросы и ответы
Что Anthropic указала в разделе «Факторы риска» про использование ИИ в собственных разработках?
Компания признала, что уже применяла ИИ для создания новых моделей и тогда не распознала резкие скачки их возможностей. Также она допускает, что в будущем может не заметить существенное ускорение темпов развития, пока оно не произойдёт.
Преодолела ли Anthropic порог рекурсивного самосовершенствования?
Нет. В заявке сказано, что ни одна модель компании пока не перешла этот порог. Anthropic обещает сохранять значимый человеческий надзор и понимание в разработке пограничных моделей в обозримом будущем и рассматривает обновление Политики ответственного масштабирования.
Почему скептики сомневаются в заявлениях Anthropic о близости RSI?
Они указывают, что документ S-1 одновременно служит раскрытием информации и маркетингом. Поэтому утверждения о близости к модели, способной построить себя, могут относиться к рекламной части, хотя возможности Клода в кодировании, математике и кибербезопасности за год выросли.






