В нескольких словах
Профессор Зико Колтер из Университета Карнеги-Меллона руководит Комитетом по безопасности и защите OpenAI, который имеет право приостанавливать выпуск новых систем ИИ, представляющих угрозу. Его роль стала ключевой частью соглашений с регуляторами Калифорнии и Делавэра, которые позволили OpenAI реструктурироваться.
Если вы считаете, что искусственный интеллект несет серьезные риски для человечества, то профессор Университета Карнеги-Меллон Зико Колтер сейчас занимает одну из самых важных должностей в технологической индустрии.
Колтер возглавляет Комитет по безопасности и защите OpenAI, состоящий из четырех человек, который имеет право остановить выпуск новых систем ИИ от создателя ChatGPT, если они будут признаны небезопасными. Речь идет о технологиях, которые могут быть использованы злоумышленниками для создания оружия массового уничтожения, или о чат-ботах с плохим дизайном, способных нанести вред психическому здоровью людей.
«Мы говорим не только об экзистенциальных проблемах. Мы говорим обо всем спектре вопросов безопасности и критически важных тем, которые возникают, когда мы начинаем обсуждать эти широко используемые системы ИИ», — заявил Колтер в интервью.
OpenAI назначила ученого-компьютерщика председателем своего Комитета по безопасности и защите более года назад. Однако его должность приобрела особое значение на прошлой неделе, когда регуляторы Калифорнии и Делавэра сделали надзор Колтера ключевой частью своих соглашений, позволяющих OpenAI реструктурироваться для более легкого привлечения капитала и получения прибыли.
Безопасность была центральной миссией OpenAI с момента ее основания как некоммерческой исследовательской лаборатории десять лет назад. Однако после выпуска ChatGPT, спровоцировавшего глобальный коммерческий бум ИИ, компанию обвинили в том, что она спешит вывести продукты на рынок, не обеспечив их полную безопасность. Внутренние разногласия, приведшие к временному отстранению генерального директора Сэма Альтмана в 2023 году, привлекли широкое внимание к опасениям, что компания отошла от своей первоначальной миссии.
Суть недавних официальных обязательств OpenAI перед генеральными прокурорами Калифорнии и Делавэра заключается в том, что решения о безопасности и защите должны стоять выше финансовых соображений. Колтер будет членом совета некоммерческого фонда, но не войдет в совет коммерческой части. Тем не менее, он будет иметь «полные права наблюдения» для посещения всех заседаний коммерческого совета и доступа к информации, касающейся решений о безопасности ИИ.
Колтер подтвердил, что соглашения в основном закрепляют полномочия его комитета, который может:
- Запрашивать задержки выпуска моделей до тех пор, пока не будут выполнены определенные меры по смягчению рисков.
- Рассматривать широкий спектр проблем, от кибербезопасности (например, может ли ИИ-агент случайно передать данные) до вопросов безопасности, связанных с весами моделей ИИ.
Профессор признал, что существуют новые, специфические для ИИ проблемы, не имеющие аналогов в традиционной безопасности, такие как возможность использования моделей злоумышленниками для разработки биооружия или проведения кибератак. Кроме того, комитет будет заниматься влиянием ИИ на людей, включая ментальное здоровье.
