一水 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI辞职潮中，又一照管员官宣辞职，而况还发出了“劝诫”信息：

Ilya和Jan Leike的担忧恰是我的担忧，还有一些极端的问题。

咱们需要作念更多事来改变决策历程等基础性的事务，包括问责制、透明度、文档、策略推论、若何严慎使用工夫，以及疲塌不对等、权力和环境影响的纪律。

Ilya和Jan Leike的担忧恰是我的担忧，还有一些极端的问题。

咱们需要作念更多事来改变决策历程等基础性的事务，包括问责制、透明度、文档、策略推论、若何严慎使用工夫，以及疲塌不对等、权力和环境影响的纪律。

主东说念主公名叫Gretchen Krueger（简称格姐），是OpenAI的AI策略照管员。

她在2019年加入OpenAI，参与过GPT-4和DALL·E 2的拓荒职责，还在2020年请示了OpenAI第一个全公司边界的“红队”测试。

此番出走，除了提到OpenAI的决策透明度问题，她还吞吐默示：

一般来说，科技公司劫掠那些寻求考究其包袱的东说念主的权力的法子之一，便是在那些建议担忧或挑战其权力的东说念主之间制造离别。我终点形式防范这种情况发生。

一般来说，科技公司劫掠那些寻求考究其包袱的东说念主的权力的法子之一，便是在那些建议担忧或挑战其权力的东说念主之间制造离别。我终点形式防范这种情况发生。

算上Ilya和Jan Leike，格姐仍是是这个月第3位从OpenAI离开的安全关联东说念主员——她提交辞呈如故在Ilya和Jan Leike阐明辞职之前。

本月第3位辞职的OpenAI安全成员

先来简便追忆通盘事情。

格姐是OpenAI的AI策略照管员，对于这个岗亭的职责，有网友帮大师在批驳区科普了。

由于感受到OpenAI存在强劲安全风险，格姐于5月14日见告公司我方行将辞职。

在这之后，OpenAI首席科学家Ilya认真文书他将离开公司去追求“下一个倡导”。

紧随Ilya辞职的，还有挑剔OpenAI“居品优先于安全”的超等对王人负责东说念主Jan Leike。

那么，到底是什么风险使得格姐早就思跑呢？

总结下来其实很简便，但也很要道：OpenAI在安全问题决策上不够透明且短少对决策东说念主的问责。

（AI透明度等）问题对悉数东说念主都很迫切，它们影响着改日若何被筹算、由谁来筹算。

我思强调的是，这些担忧不应该被误读为眇小、投契或脱节的。它们并非如斯。

（AI透明度等）问题对悉数东说念主都很迫切，它们影响着改日若何被筹算、由谁来筹算。

我思强调的是，这些担忧不应该被误读为眇小、投契或脱节的。它们并非如斯。

另外，格姐还有益说起了为了保留对OpenAI的品评权、废弃85%家庭钞票的OpenAI前职工Daniel Kokotajio，线路感谢他的勇气，使她有契机说出思说的。

此前，OpenAI被曝辞职需签封口条约，“不署名就会影响股权”。

这件事的最新阐述由格姐的另一位前共事Jacob Hilton曝出：

在Vox的深度造访发表之后，OpenAI仍是关联了前职工们，万生优配，万生配资，万生配资公司，万生配资官网，股票证券资讯网站撤废了此前签署的躲藏条约。

回到安全的话题上，格姐如故给老东家保留了体面：

OpenAI仍在请示这些迫切的职责。我也将延续对此保持关注和蓬勃。

OpenAI仍在请示这些迫切的职责。我也将延续对此保持关注和蓬勃。

不外格姐的出走，如故激勉更多网友的趣味：

当Ilya等东说念主还在的时代，OpenAI若何决定首要安全问题？ 当一批迫切安全成员离开后，OpenAI现时又若何决定安全问题？

在关注谁合手有最终决策权之前，咱们先来望望OpenAI的安全团队有哪些。

从官网公布的信息来看，OpenAI当今的安全团队主要分为三大块。

超等对王人团队：拿出20%总算力，对准若何欺压还不存在的超等智能 Safety Systems团队：专注于减少现存模子和居品（举例ChatGPT）的浮滥 Preparedness团队：绘图前沿模子的新兴风险

领先，行为中枢的超等对王人团队由Ilya和Jan Leike在2023年7月发起。

效果不到1年，两位灵魂东说念主物接连出走，超等团队分化剖判。

其次，Safety Systems成立于2020年，该团队底下有4个部门，包括安全工程团队、风险科罚团队、监控与反应团队以及战略与合规团队。

它曾负责了GPT-3和GPT-4的安全性评估。

当初请示它的Dario Amodei，其后离开OpenAI创办了Anthropic。

而且Dario Amodei之是以辞职，原因恰好在于思设置一个更的确的模子。

临了，OpenAI于2023年10月文书设置Preparedness团队。

该小组由麻省理工可部署机器学习中心主任Aleksander Madry请示，旨在“追踪、臆度和防护改日东说念主工智能系统的危机”，包括从AI“劝服和骗取”东说念主类的智商（如收集垂纶挫折），到坏心代码生成智商。

当今该团队主要进行模子智商评估、评价和里面红队（即对模子进行渗入测试的挫折方）。

说了这样多，但——

岂论OpenAI有些许安全团队，其风险评估的最终决策权仍掌合手在请示层手中。

宫斗风云之前，OpenAI中枢科罚团队中共有四名成员：CEO Sam Altman、总裁Greg Brockman、首席科学家Ilya Sutskever、CTO Mira Murati。

天然一运转Ilya发动“宫变”让Sam Altman良晌下台，但很快奥特曼“熹妃回宫”，反而是Ilya“销亡”了6个月。

回去来后的Sam Altman身边基本都是我方东说念主了，包括最新顶替Ilya的Jakub。

不外对于安全问题的决策权，天然请示层是决策者，但董事会领有推翻决策的权力。

当今OpenAI的董事会成员包括，Salesforce共同首席推论官、董事会主席Bret Taylor，经济学家Larry Summers、Quora首席推论官Adam D’Angelo、前比尔及梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼文娱总裁Nicole Seligman、Instacart首席推论官Fidji Simo以及奥特曼本东说念主。

参考流通：

[1]https://x.com/GretchenMarina/status/1793403475260551517

[2]https://futurism.com/the-byte/openai-cryptic-warning

— 完—

量子位年度AI主题筹备正在搜荟萃！

迎接投稿专题一千零一个AI行使，365行AI落地决议

或与咱们共享你在寻找的AI居品，或发现的AI新动向

点这里👇关注我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿阐述日日相逢 ~

LeikeJan格姐IlyaOpenAI发布于：北京市声明：该文不雅点仅代表作家本东说念主，搜狐号系信息发布平台，搜狐仅提供信息存储空间干事。