- openai的一名前员工表示，该公司的安全决策正在重蹈泰坦尼克号的覆辙。
- 威廉·桑德斯(William Saunders)警告说，人们对被认为“永不沉没”的泰坦尼克号的安全性感到傲慢。
- 桑德斯在OpenAI工作了3年，他一直对该公司的公司治理持批评态度。
OpenAI的一名前安全员工表示，该公司正在追随建造泰坦尼克号的白星航运公司(White Star Line)的脚步。
“我真的不想最终为人工智能的泰坦尼克号工作，所以这就是我辞职的原因，”在OpenAI超级联盟团队工作了三年的技术人员威廉·桑德斯(William Saunders)说。
他是在7月3日发布的一集youtube科技主播亚历克斯·坎特罗维茨的播客上说这番话的。
本文仅对Business Insider订阅者开放。成为业内人士，现在就开始阅读。有账户吗?．“在OpenAI的三年里，我有时会问自己一个问题。OpenAI走的路是更像阿波罗计划，还是更像泰坦尼克号?”
这位软件工程师的担忧很大程度上源于OpenAI实现人工通用智能的计划，即人工智能可以自我学习的程度，同时也推出了付费产品。
“他们正走在改变世界的轨道上，但当他们发布新产品时，他们更像是一家产品公司。我认为这是最令人不安的。”
阿波罗vs泰坦尼克
随着桑德斯在OpenAI工作的时间越来越长，他觉得领导者们做出的决定更像是“建造泰坦尼克号，优先考虑推出更新、更闪亮的产品”。
他会更喜欢像阿波罗太空计划那样的氛围，他将其描述为一个雄心勃勃的项目的例子，在挑战科学极限的同时，“仔细预测和评估风险”。
他说:“即使发生了像阿波罗13号这样的大问题，他们也有足够的冗余，能够适应这种情况，把所有人安全带回。”
桑德斯说，另一方面，白星航运公司建造泰坦尼克号是为了与竞争对手竞争制造更大的邮轮。
有关的故事
桑德斯担心，就像泰坦尼克号的安全措施一样，OpenAI可能过于依赖现有的人工智能安全措施和研究。
他说:“为了保证这艘船的安全，建造水密舱，他们做了很多工作，这样他们就可以说这艘船是不会沉没的。”“但与此同时，没有足够的救生艇供所有人使用。所以当灾难来袭时，很多人都死了。”
可以肯定的是，阿波罗任务是在冷战时期与俄罗斯进行太空竞赛的背景下进行的。它们还造成了几起严重的人员伤亡，其中包括三名美国宇航局宇航员，他们在1967年的一次测试中因电气火灾而死亡。
桑德斯在给Business Insider的一封电子邮件中进一步解释了他的类比，他写道:“是的，阿波罗计划有它自己的悲剧。开发人工智能或任何零风险的新技术是不可能的。我希望看到的是该公司采取一切可能的合理措施来防止这些风险。”
桑德斯说，OpenAI需要更多的“救生艇”
桑德斯告诉商业内幕网，人工智能的“泰坦尼克号灾难”可能会在一个模型中体现出来，这个模型可以发动大规模的网络攻击，在竞选中说服人们，或者帮助制造生物武器。
他在电子邮件中说，在短期内，OpenAI应该投资更多的“救生艇”，比如推迟发布新的语言模型，这样团队就可以研究潜在的危害。
在超级联盟团队期间，桑德斯领导了一个由四名员工组成的小组，致力于了解人工智能语言模型的行为方式——他说人类对此知之甚少。
他在电子邮件中写道:“如果未来我们构建的人工智能系统与大多数人类一样聪明或更聪明，我们将需要能够判断这些系统是否隐藏了能力或动机的技术。”
在接受坎特罗维茨的采访时，桑德斯补充说，公司员工经常讨论人工智能如何在短短几年内成为一股“巨大变革”力量的理论。
他说:“我认为，当公司谈论这个问题时，他们有责任为此做好准备。”
但到目前为止，他对OpenAI的行动感到失望。
在给BI的邮件中，他说:“虽然OpenAI的一些员工在理解和防范风险方面做得很好，但我没有看到这项工作有足够的优先级。”
桑德斯于今年2月离开OpenAI。今年5月，该公司宣布推出其最先进的人工智能产品gpt - 40，几天后，该公司解散了超级校准团队。
OpenAI没有立即回应business Insider在正常工作时间之外发出的置评请求。
OpenAI、苹果(Apple)、谷歌(Google)和meta等科技公司都参与了人工智能军备竞赛，引发了投资热潮，人们普遍预测，人工智能将成为类似于互联网的下一个重大行业颠覆者。
迅猛的发展速度促使一些员工和专家警告称，需要加强公司治理，以避免未来的灾难。
6月初，包括桑德斯在内的一群谷歌Deepmind和OpenAI的前任和现任员工发表了一封公开信，警告称目前的行业监管标准不足以防范人类灾难。
与此同时，OpenAI联合创始人、前首席科学家伊利亚·苏斯克维尔(Ilya Sutskever)在当月晚些时候辞职，他曾领导该公司的超对齐部门。
他还创立了另一家初创公司Safe Superintelligence Inc.，他说这家公司将专注于研究人工智能，同时确保“安全始终领先”。
本文来自作者[傲霜]投稿，不代表kzshn号立场，如若转载，请注明出处：https://blog.kzshn.cn/cshi/202508-2917.html
评论列表（4条）
我是kzshn号的签约作者“傲霜”！
希望本篇文章《OpenAI前安全员工辞职，称公司领导在打造“泰坦尼克号”，意图推出“更新、更闪亮”的产品》能对你有所帮助！
本站[kzshn号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：openai的一名前员工表示，该公司的安全决策正在重蹈泰坦尼克号的覆辙。 威廉·桑德斯(William Saunders)警告...