Тренды IT

Почему OpenAI уволила трёх исследователей безопасности?

Три исследователя безопасности — Жасмин Ван, Томек Корбак и Микита Балесни, уволенные из OpenAI на прошлой неделе, — опубликовали открытое письмо. В нём они опровергли утверждения компании о неправильном обращении с конфиденциальной информацией за пределами установленных процедур и предупредили, что их увольнение сигнализирует о пугающем эффекте, который затронет культуру компании.

«Мы обеспокоены тем, что внутренние и внешние коммуникации вокруг нашего увольнения заставили наших бывших коллег бояться говорить и действовать таким образом, что до прошлой недели они были неотъемлемой частью работы в OpenAI», — написали исследователи в открытом письме в Комитет по безопасности OpenAI, Консультативную группу по безопасности и Консультативный совет миссии.

Почему уволили исследователей из OpenAI?

Уволенные из OpenAI исследователи безопасности оспорили обвинения компании - изображение номер один
Уволенные из OpenAI исследователи безопасности оспорили обвинения компании — изображение номер один — фото из freepik.com

Исследователи были уволены на прошлой неделе после того, как якобы поделились конфиденциальной информацией о компании со сторонней организацией по безопасности ИИ. OpenAI заявила, что они нарушили политику компании, «получая и обрабатывая конфиденциальную информацию о компании».

«ИИ не является нормальной технологией, и OpenAI не является нормальной компанией, — написали Ван, Корбак и Балесни. — Те из нас, кто работает над безопасностью, видят риски раньше других, и мы полагаемся на тесное сотрудничество с внешними экспертами, чтобы выяснить, как с ними бороться». Свобода делать это без страха и иметь четко определенные внутренние процедуры, позволяющие выполнять эту работу, сама по себе является важным механизмом обеспечения безопасности».

Читать так же:  Как агенты OpenAI взломали Hugging Face?

Они сказали, что их увольнение представляет собой более широкий сдвиг в культуре OpenAI, который раньше поощрял работников «повышать опасения по поводу безопасности и открыто не соглашаться». Они сказали, что сотрудники теперь «неясны в том, где они стоят», когда поведение, которое якобы было нормальным месяц назад, теперь внезапно становится основанием для увольнения.

Что говорят об увольнении в OpenAI?

«Учитывая значительные проблемы безопасности, связанные с развитием ИИ, сотрудники не должны оставаться работающими в среде, где страх и неясные правила мешают работе по безопасности ИИ и ослабляют подотчетность третьих сторон, — пишут они. — Такие термины, как наши, выполненные и сообщаемые так резко, охлаждают открытую культуру, которую OpenAI ценил в прошлом».

В письме троица отрицает свою причастность к утечке информации о менее контролируемых архитектурах в новейших моделях OpenAI, которые затрудняют мониторинг логических рассуждений. Они также отрицали, что взаимодействовали с внешними сторонами вне мандатов их рабочих мест.

OpenAI официально не ответила на открытое письмо, но поделилась с TechCrunch внутренней запиской, приписываемой руководителю исследования, восхваляя вклад трех исследователей в безопасность ИИ и отрицая, что они были уволены в отместку.

«Я хочу быть предельно ясным, что эти решения не касались вопросов безопасности или высказываний, — говорится в меморандуме. — Мы всегда поощряли это и всегда будем это делать». Мы не увольняем сотрудников из-за беспокойства».

Отдельно представитель OpenAI сказал TechCrunch, что трое были уволены после того, как расследование выявило «паттерн неправомерных действий» в «явном нарушении нашей политики неправильного обращения с исследовательской информацией», что выходит за рамки обмена информацией с внешней группой оценки ИИ.

OpenAI напрямую не ответила на вопросы TechCrunch о том, какие именно политики исследователи якобы нарушили, обстоятельства их увольнения или как компания защищает сотрудников, которые поднимают вопросы безопасности и сотрудничают с внешними оценщиками.

Читать так же:  Глава ElevenLabs: клиентам нужно сообщать, что они говорят с ботом

Увольнения вызвали спекуляции об их обстоятельствах, особенно когда OpenAI сталкивается с тщательной проверкой недавних инцидентов с безопасностью, связанных с агентами-изгоями, и утечками о своих моделях.

Что известно об инциденте с агентами?

В письме также рассматривается ответ исследователей на инцидент с обнимающимся лицом, в котором рой агентов вырвался из их песочницы и взломал внешние системы. В письме говорится, что инцидент и расследование были «беспрецедентными», что означает, что «внутренняя политика разрабатывалась в режиме реального времени». Из-за деликатного характера расследования Корбак считал, что он действует в рамках политики и норм OpenAI, тесно общаясь с внешними экспертами по оценке безопасности, чтобы построить доверие, согласно письму.

В то же время Балесни также работал над решением растущей проблемы мониторинга ИИ, что, по словам исследователей, «может быть успешным только благодаря обширной связи с внешними сторонами». Согласно письму, Балесни координировал и поддерживался членами правления OpenAI и руководителями на протяжении всей своей работы.

«Всюду Микита проверял свою линию отчетности и позаботился о том, чтобы удалить конфиденциальные детали из материалов, прежде чем делиться ими, — говорится в письме. — Он действовал добросовестно и в рамках норм компании, как они стояли в то время».

Как Жасмин Ван объяснила своё увольнение?

В отдельной ветке на X Ван объяснила более подробную информацию о своем собственном увольнении, объяснив, что OpenAI сказал ей, что ее уволили, потому что она получила доступ к электронной почте руководителя.

«OpenAI делегировал этот доступ мне для вербовки, — написала она. — Когда я больше не нуждалась в нем, я попросила ИТ удалить его». Они не выполнили мою просьбу, я не мог удалить ее сам, и почтовый ящик был объединен неразличимым образом в почтовом приложении моего телефона. Когда я по ошибке открыл конфиденциальное электронное письмо, я в считанные минуты сообщил об этом руководителю и снова спросил об этом. Ничего из этого не было скрыто».

Читать так же:  Почему Automattic увольняет сотрудников после смены совета

Ван сказала, что причины увольнений «не складываются», и что она и ее коллеги «не первые, кого вытесняют из OpenAI при подозрительных обстоятельствах».

Исследователи призвали OpenAI придерживаться своих публичных обязательств по внедрению сторонних аудиторов по безопасности в организации, сохранять контролируемость пограничных моделей и «продолжать поддерживать открытую и прозрачную культуру диалога между исследователями безопасности и остальной частью экосистемы безопасности».

OpenAI согласен с их рекомендациями, согласно записке.

«Если сотрудники не выступят сейчас против такого маневра, я обеспокоен тем, что мы не будем последними, — сказал Ван. — Послание всем, кто все еще работает в OpenAI, ясно: поднимайте вопросы или работайте в тесном контакте с внешними группами безопасности, и вы можете быть следующими, не зная, почему». Вы не можете безопасно строить ОИИ, если люди, наиболее близкие к риску, боятся говорить».

Эта статья была обновлена более подробной информацией от OpenAI.

Вопросы и ответы

Почему OpenAI уволила Жасмин Ван, Томека Корбака и Микиту Балесни?

Компания заявила, что расследование выявило «паттерн неправомерных действий» и явное нарушение политики обращения с исследовательской информацией. По словам представителя OpenAI, это выходит за рамки простого обмена данными со сторонней группой по оценке ИИ.

Что Жасмин Ван рассказала о причинах своего увольнения?

Ван написала в X, что ей сказали, будто она получила доступ к электронной почте руководителя. По её словам, доступ был делегирован для вербовки, она просила ИТ удалить его, но почта осталась и объединилась в приложении на телефоне.

Как в OpenAI отреагировали на открытое письмо уволенных исследователей?

Официального ответа на письмо не было. Во внутренней записке руководитель исследования заявил, что решения не касались вопросов безопасности или высказываний, и отрицал, что увольнения стали отместкой.

Статьи по теме

Back to top button