Дэвид Робинсон, сотрудник ведущей компании по искусственному интеллекту, уволился и выступил со страшным предупреждением. По его собственному признанию, он «нечто вроде клише»: работник такой компании, который делает пугающее заявление при уходе.
В эссе, опубликованном в The Atlantic, Робинсон сказал, что он руководил составлением отчетов о безопасности, которые сопровождали основные запуски продуктов OpenAI. Он также сказал, что, проработав три с половиной года в OpenAI, он является «одним из самых высокооплачиваемых сотрудников компании». Теперь он уходит, потому что, по его мнению, «культура компании нарушена».
В некотором смысле комментарии Робинсона перекликаются с комментариями Джейкоба Коксона, который работал исследователем как в OpenAI, так и в Anthropic, прежде чем уйти и заявить, что эти компании «играют в наши жизни». Комментарии Коксона привели к более широким дебатам о безопасности ИИ, а генеральный директор Anthropic Дарио Амодей представил план более осторожного развития ИИ; руководители AI встретились с президентом Дональдом Трампом на этой неделе и подписали то, что, казалось, было поспешно написано, необязательное обещание внедрить больше контроля безопасности.
Но, по мнению Робинсона, дебаты должны выходить за рамки «конкретных правил или новых законов», затрагивая общую культуру этих компаний. И хотя большая часть репортажей вокруг OpenAI была сосредоточена на том, как генеральный директор компании Сэм Альтман потерял доверие бывших коллег, эссе Робинсона предполагает, что проблемы культуры OpenAI такие же, как и проблемы Кремниевой долины в целом.
Что Робинсон говорит о культуре OpenAI?
«OpenAI процветал методом проб и ошибок (который он называет «итеративным развертыванием»), ища проблемы и улучшая свои ограждения в ответ, — написал он. — Но этот подход по самой своей природе гарантирует периодические сбои — и масштаб этих сбоев растет по мере того, как системы становятся более способными».
Указывая на недавнее нарушение систем Hugging Face агентами OpenAI, а также на продолжающиеся откровения о том, что OpenAI обнаруживает больше агентов-изгоев, Робинсон утверждал: «Среда, в которой такие вещи могут произойти, — это не место для развития искусственных умов, которые могут быть умнее, чем мы, и которые могут не делать то, что мы хотим».
Учитывая повышенный риск, Робинсон утверждал, что пограничные компании ИИ должны начать работать «как атомные электростанции или занятые аэропорты, со слоями избыточности и тщательным, трудоемким планированием, чтобы случайная и неизбежная человеческая ошибка не открывала дверь к катастрофе».
Но Робинсон сказал, что во время работы в OpenAI он «никогда не сталкивался с коллегой, который имел опыт безопасного полета самолетов или запуска ядерных реакторов без таяния или помощи финансовой системе расти без разрушения».
Как OpenAI отвечает на критику Робинсона?
В ответ на эссе Робинсона представитель OpenAI Дрю Пусатери заявил, что компания продолжает совершенствовать свои меры безопасности.
«Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно управлять и защищать, и мы приостанавливаем обучение или сдерживаем модели, когда нам нужно замедлиться, — сказал Пусатери. — Мы вносим значительные изменения для укрепления безопасности в наших исследовательских и испытательных средах, обучаем модели не только выполнять задачи, но и делать это ответственно, расширяем нашу работу со сторонними оценщиками и улучшаем мониторинг в режиме реального времени, чтобы мы могли обнаруживать и реагировать на поведение ранее в процессе обучения».
Почему Робинсон призывает говорить о выравнивании?
Помимо призыва к изменениям в культуре OpenAI, Робинсон также сказал, что пришло время задать более серьезные вопросы о выравнивании — что-то, что, по его признанию, может звучать «трогательно», но он сказал, что это важно, поскольку текущие «меры компаний о том, насколько хорошо» системы ИИ «соответствуют человеческим ценностям, являются грубыми».
«Чем умнее отрасль позволяет моделям расти, пока эти проблемы остаются нерешенными, тем опаснее становится наша ситуация», — сказал он.
Об уходе Робинсона впервые сообщил Business Insider. В своем эссе он также признал, что следует, по-видимому, общему шагу в руководстве по разоблачению ИИ: он нанял PR-фирму. Но он настаивал: «Решение высказаться принадлежит только мне».
«Возможно, я должен был остаться и бороться за фундаментальные изменения в нашем персонале и культуре, но на практике мы с коллегами были настолько заняты спринтом, что у нас редко была возможность рассмотреть большие изменения, а тем более фактически сделать их», — сказал Робинсон. — «Вот почему я пришел к выводу, что более сильные стимулы для безопасности — поступающие из-за пределов компании — являются большой частью получения этого права».
Вопросы и ответы
Сколько лет Дэвид Робинсон проработал в OpenAI и кем он там был?
Он проработал в OpenAI три с половиной года и руководил составлением отчетов о безопасности, сопровождавших основные запуски продуктов компании. По его словам, он был одним из самых высокооплачиваемых сотрудников OpenAI.
Что OpenAI ответила на критику Робинсона?
Представитель компании Дрю Пусатери заявил, что OpenAI продолжает совершенствовать меры безопасности: следит, чтобы модели не становились способнее, чем компания может безопасно ими управлять, приостанавливает обучение при необходимости, расширяет работу со сторонними оценщиками и улучшает мониторинг в реальном времени.
Почему Робинсон считает, что о выравнивании ИИ нужно говорить серьезнее?
Он утверждает, что нынешние меры компаний по оценке соответствия систем ИИ человеческим ценностям слишком грубые. По его мнению, чем умнее отрасль позволяет становиться моделям, пока эти проблемы не решены, тем опаснее ситуация.
