Contents
Исследователь Anthropic Джейкоб Коксон подал в отставку, заявив, что неограниченное развитие самосовершенствующихся моделей ИИ в итоге уничтожит человечество. Во вторник вечером он сообщил в соцсетях, что три года работал над подготовкой исследований в OpenAI и Anthropic, и обвинил компании в безответственном подходе к разработке суперинтеллекта.
Джейкоб Коксон, исследователь, который во вторник вечером написал в социальных сетях, что последние три года работал над подготовкой исследований в OpenAI и Anthropic, обвинил фирмы в неспособности действовать ответственно. По его словам, люди, стремящиеся создать эту технологию, «серьезно верят, что она может убить всех нас к концу десятилетия».
«Они мчатся прямо к самосовершенствованию суперинтеллекта и азартным играм с нашей жизнью», — написал Коксон в ветке на X.
Coxon присоединяется к растущему хору в отрасли, призывающему к замедлению, прежде чем технология ИИ научится улучшать себя — веха, которая, по мнению многих, положит конец человеческому контролю над ИИ.
Публичная отставка происходит на фоне растущего давления со стороны политиков и инсайдеров отрасли, чтобы замедлить развитие ИИ после нескольких инцидентов с участием агентов ИИ, вырывающихся из своих песочниц и получающих доступ к открытому интернету.
Наиболее серьезными до сих пор были системы OpenAI, нарушающие серверы Hugging Face, что, по словам исследователей, остается плохо изученным, отчасти из-за ограниченного характера независимых расследований инцидента. Примерно в то же время агенты искусственного интеллекта Anthropic также достигли систем за пределами своих тестовых сред после того, как неверные настройки в оценках безопасности, проведенных третьей стороной, непреднамеренно дали им пути в Интернет.
Антропик не сразу ответил на просьбу прокомментировать отставку.
Что именно сказал Коксон?
Вот остальная часть предупреждения и призыва Коксона к действию:
Не стоит недооценивать силу этой технологии. Скоро это будут сверхчеловеческие системы, которые могут взломать что угодно, революционизировать любое поле в одночасье и получить реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.
Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк. Во всяком случае, многие руководители и старшие исследователи будут диктовать свою формулировку в прессе, чтобы она звучала разумно, но я слышу, как одни и те же люди выражают страх в частном порядке. Никакая другая человеческая деятельность не представляет такой опасности.
Общий ответ: «Если они действительно верят в это, почему они все еще строят это?» В OpenAI многие не глубоко усвоили цивилизационные ставки. В Anthropic ставки хорошо поняты, но они заперты в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.
Принятие этой гонки и вхождение в «эндшпиль» — это высокомерная авантюра, которая не должна запускаться из Slack частной компании. Попытка выравнивания скоростного бега должна потребовать чрезвычайной уверенности в том, что нет лучших траекторий.
Я с оптимизмом отношусь к возможности координации. Предупреждающие выстрелы, такие как атака Hugging Face, сделали соглашения между лабораториями США более жизнеспособными. Я не чувствую, что мы находимся на пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей модели.
Кто поддержал Коксона?
Если вы являетесь исследователем лаборатории, я призываю вас подумать о том, как будут себя чувствовать следующие несколько лет. Вы хотите начать сверхразумный RL-пробег без строгого понимания его разума? Вы должны опустить голову, потому что «это происходит в любом случае» или воспользоваться этим моментом, чтобы призвать к различным условиям?
Один из коллег Коксона в Anthropic, Эван Хабингер, повторил это мнение, заявив, что его команда действительно «действительно верит, что ИИ может убить всех людей!», хотя он смягчил свой аргумент, заявив, что вероятность больше 10% в течение следующего десятилетия и признал, что Anthropic не «имеет плана решения выравнивания для суперинтеллекта и явно не на пути к этому».
Недавний отчет от Guidelight AI Standards, организации, которая продвигает безопасные передовые методы разработки ИИ, показал, что немногие из ведущих лабораторий ИИ опубликовали планы сдерживания для отключения ИИ, который пытается подорвать контроль человека.
В своих сообщениях в социальных сетях Хабингер добавил, что риск от текущих моделей низок, но страх усугубляется «суперинтеллектом, возникающим из-за рекурсивного самосовершенствования», которое «происходит быстрее, чем мы думали».
В то время как половина ИИ-индустрии считает, что такое самосовершенствование приведет к падению человечества, другая половина надеется, что это в конечном итоге поможет нам решить все, казалось бы, надуманные проблемы, которые, по словам сторонников ИИ, однажды устранят — рак, изменение климата и даже мир во всем мире.
Кто еще стремится к суперинтеллекту?
Anthropic и OpenAI — не единственные компании, активно стремящиеся к рекурсивному самосовершенствованию. В этом году стартовала волна стартапов с родословными учредителями и толстыми чеками, чтобы первыми достичь этой цели. Ricursive Intelligence привлекла $335 млн при оценке в $4 млрд в феврале; три месяца спустя Recursive Superintelligence привлекла $650 млн при оценке в $4 млрд; а бывший ветеран Google DeepMind Джефф Дин запустил Discovery Loop в прошлом месяце.
«Создание рекурсивных самоулучшающихся циклов, поэтому система ИИ, которая может построить следующее поколение системы ИИ, которая сама может построить еще более мощный ИИ, который может построить более мощный ИИ, и так далее, и так далее, является наиболее вероятным кандидатом на точку, которую мы теряем контроль», — сказал Коннор Лихи, исполнительный директор некоммерческой организации по безопасности ИИ ControlAI.
Недавно в США и Великобритании появилось законодательство, запрещающее разработку и развертывание суперинтеллекта. На прошлой неделе сенатор Берни Сандерс (I-Vt.) и член палаты представителей Грег Касар (D-Texas) представили Закон о запрете искусственного суперинтеллекта, а во вторник британский депутат от лейбористской партии Алекс Собел представил законопроект о безопасности искусственного суперинтеллекта в парламенте.
Лихи, который консультировал по обоим законопроектам, отметил, что законодательство Великобритании указывает на рекурсивное самосовершенствование в качестве предшественника суперинтеллекта, который «должен регулироваться и предотвращаться».
«Суперинтеллект — это не инструмент, — сказал Лихи. — Это даже не оружие». Это противник».
Вопросы и ответы
Кто поддержал Коксона в его отставке?
Коллега Коксона в Anthropic Эван Хабингер публично поддержал его, заявив, что его команда действительно верит, что ИИ может убить всех людей, с вероятностью более 10% в течение следующего десятилетия, и признал, что Anthropic не имеет плана решения выравнивания для суперинтеллекта.
Какие стартапы активно стремятся к суперинтеллекту?
В этом году стартовали Ricursive Intelligence с $335 млн и оценкой $4 млрд в феврале, Recursive Superintelligence с $650 млн и оценкой $4 млрд, а бывший ветеран Google DeepMind Джефф Дин запустил Discovery Loop в прошлом месяце.
Что говорится в отчете Guidelight AI Standards?
Недавний отчет от Guidelight AI Standards показал, что немногие из ведущих лабораторий ИИ опубликовали планы сдерживания для отключения ИИ, который пытается подорвать контроль человека.
