Contents
В августе профессор криптографии Мэтью Грин опубликовал спорную нить в X и более длинный пост в блоге, ставший вирусным в сообществе кибербезопасности. В них он выразил обеспокоенность тем, что развитие ИИ может сделать программное обеспечение слишком безопасным, лишив правительство США доступа к уязвимостям, используемым для взлома целей.
Грин, который долгое время был близким наблюдателем дебатов вокруг использования хакерских инструментов правительствами для борьбы с преступностью и необходимости сильного шифрования для защиты конфиденциальности невинных людей, выдвинул провокационную мысль: Что, если ИИ сделает ошибки настолько скудными, что правоохранительные органы и спецслужбы больше не смогут законно взламывать преступников?
«Я обеспокоен тем, что ИИ сделает программное обеспечение слишком безопасным», — написал Грин, предупредив, что правительство США может потерять доступ к недостаткам безопасности для взлома целей, которые им необходимо отслеживать, поскольку компании исправляют беспрецедентный объем ошибок.
Правоохранительные органы уже давно утверждают, что шифрование затрудняет поимку преступников и террористов. Концепция «темнеть» была популяризирована в 2014 году, когда тогдашний директор ФБР Джеймс Коми предупредил, что шифрование может помешать властям прослушивать разговоры или получать доступ к данным на устройствах.
Примерно в это время такие приложения, как Signal, WhatsApp и iMessage от Apple, развернули сквозное шифрование для широких масс, что сделало традиционное прослушивание звонков и текстовых сообщений в режиме реального времени практически невозможным. Технические гиганты, такие как Apple, также начали делать данные на своих устройствах зашифрованными по умолчанию, что затрудняет взлом iPhone, защищенных сильным PIN-кодом или парольной фразой.
С тех пор власти по-прежнему могут ловить преступников, в том числе путем взлома их устройств, а невинные люди могут наслаждаться хорошим уровнем конфиденциальности благодаря шифрованию. Отчасти, как объясняет Грин, это связано с «непростым перемирием». То есть вместо того, чтобы включать бэкдоры в устройства, чтобы помочь властям получить данные, правительства вместо этого инвестировали деньги в покупку хакерских инструментов и шпионских программ, которые могут подорвать безопасность устройств и их владельцев.
Для Грина это перемирие вот-вот будет нарушено ИИ, потому что, как обещают сторонники и предполагают некоторые ранние данные, LLM становятся лучше и быстрее в поиске уязвимостей безопасности в масштабе. Теоретически это говорит о том, что мы дойдем до точки, когда компании смогут сделать свое программное обеспечение и системы значительно менее подверженными ошибкам и склонными к атакам.
Конечный результат, согласно Грину, заключается в том, что правительства могут снова попросить бэкдоры, делая устройства каждого менее безопасными по дизайну.
Почему ИИ может нарушить перемирие?
Мы попросили нескольких людей прислушаться к аргументу Грина, от экспертов по конфиденциальности и кибербезопасности до хакеров, у которых есть опыт разработки хакерских инструментов для правительств. Некоторые соглашаются с Грином, некоторые не соглашаются, а некоторые видят в этом оба пути.
Луна Тонг, исследователь, который ранее работал в двух известных компаниях, которые ищут баги и разрабатывают эксплойты, чтобы помочь правительствам ворваться в системы, согласилась с Грином, заявив, что сейчас существует «золотая лихорадка багов, но это временное явление, и баги скоро снова станут дефицитными».
Другой исследователь, имеющий более чем десятилетний опыт работы в наступательных охранных фирмах, сказал, что он обеспокоен тем, что ИИ может сделать исследователей безопасности человека устаревшими, потому что будет гораздо труднее найти ошибки, и что защитники в конечном итоге получат преимущество над наступательными исследователями. Человек просил не называть его имени, чтобы он мог говорить более свободно.
«Ясно, что ни одно государство не откажется от возможности наблюдения», — сказал Паоло Станьо, главный технический директор Crowdfense, известной компании, которая разрабатывает, приобретает и продает неизвестные уязвимости, также известные как нулевые дни, правительствам. Стагно объяснил, что нынешний процесс, требующий от правительств использовать недостатки безопасности для взлома устройств, является «самой демократической системой, которая у нас есть», но статус-кво может не продлиться, если ошибки станут слишком трудно найти.
Три других человека, которые в настоящее время работают в наступательной индустрии кибербезопасности, и один, который раньше не соглашался. Их аргументы сводятся к следующему: Легкие ошибки будет легче найти; более сложные ошибки, которые, как правило, более ценны и полезны для правительств, не исчезнут; и ИИ может активно помогать исследователям, которые продают ошибки государственным органам.
Хамид Кашфи, который является основателем компании DarkCell, занимающейся наступательной безопасностью, а также работает в стартапе Xbow по кибербезопасности ИИ, сказал, что «на каждый обнаруженный и зарегистрированный там ИИ, вероятно, приходится 20 ошибок, о которых не сообщается».
Два исследователя, которые в настоящее время зарабатывают на жизнь поиском ошибок для фирм с нулевым днем, сказали TechCrunch, что они меньше обеспокоены ростом ИИ, чем множеством новых средств защиты в современных устройствах, которые затрудняют их взлом.
Ева Гальперин, директор по кибербезопасности в Electronic Frontier Foundation и эксперт по правительственным шпионским программам, сказала, что преступление сегодня имеет преимущество из-за сочетания ИИ, который очень способен находить ошибки, и увеличения числа уязвимостей, вводимых «vibe-кодом», разрабатываемым с помощью инструментов ИИ.
С другой стороны, Гальперин утверждал, что поиск большего количества ошибок не обязательно означает, что больше ошибок будет исправлено достаточно быстро или вообще, учитывая, что исправление может быть сложным процессом. Гальперин сказал, что в какой-то момент все равно будет возобновлено движение за бэкдоры, потому что авторитарные режимы всегда хотят «исключительный доступ».
Кэти Муссурис (Katie Moussouris), которая помогала компаниям, как крупным, так и мелким, справляться с сообщениями об ошибках и исправлять их в течение десятилетий, сказала, что «у нас есть некоторое расстояние, прежде чем последние телефоны и ноутбуки будут полностью свободны от ошибок».
«Будет какой-то момент, когда найти ошибки будет намного сложнее, и это может вызвать это давление для создания бэкдоров», — сказал Муссурис, основатель и генеральный директор Luta Security.
«Я думаю, что у нас есть, по крайней мере, до следующих президентских выборов, прежде чем разведывательное сообщество будет достаточно сильно затруднено, чтобы серьезно продвигать бэкдоры», — сказал Муссурис.
Вопросы и ответы
Кто такой Мэтью Грин и почему его мнение важно?
Мэтью Грин — профессор криптографии, который в августе опубликовал спорные материалы в X и блоге. Его мнение важно, так как он давно наблюдает за дебатами о правительственном взломе и шифровании, и его опасения вызвали широкую дискуссию в сообществе кибербезопасности.
Что такое «непростое перемирие» между властями и шифрованием?
Это концепция, описанная Грином: вместо бэкдоров в устройствах правительства инвестируют в покупку хакерских инструментов и шпионских программ, чтобы взламывать устройства. Это позволяет властям ловить преступников, а невинным сохранять конфиденциальность, но баланс может нарушиться из-за ИИ.
Как ИИ может повлиять на доступ правительства к уязвимостям?
ИИ, особенно LLM, может быстрее находить уязвимости, что позволит компаниям исправлять ошибки и делать софт безопаснее. Это лишит правительства возможности использовать недостатки для взлома, что может привести к требованию бэкдоров, снижая безопасность для всех.
