ESC
AI 1 分钟阅读

OpenAI安全员工辞职,声称公司“文化已经崩溃”

OpenAI安全员工David Robinson辞职并发表文章,警告公司“文化已崩溃”。他批评“迭代部署”模式必然带来周期性失败,且随系统能力增强风险不断扩大,主张前沿AI公司应像核电站一样以多层冗余方式运营。OpenAI回应称正持续强化安全措施,并会在必要时暂停训练。

来源:TechCrunch

用他自己的话说,David Robinson是“某种老生常谈”:一名顶尖AI公司的员工在辞职之际发出了可怕的警告。

在一篇文章中,Robinson的言论在某种程度上呼应了Jacob Coxon的观点。Coxon曾在OpenAI和Anthropic担任研究员,后来辞职并宣称这些公司正在“拿我们的生命赌博”。Coxon的言论引发了一场关于AI安全的更广泛辩论,Anthropic CEO Dario Amodei随后公布了一项更为谨慎的前沿AI开发节奏计划;本周,AI高管们与总统Donald Trump会面,并签署了一份看似仓促写就、不具约束力的承诺,以落实更多安全控制措施。

但在Robinson看来,这场辩论需要超越“具体规则或新法律”,去正视这些公司的整体文化。尽管围绕OpenAI的大部分报道都聚焦于该公司CEO Sam Altman如何失去了昔日同事的信任,Robinson的文章则表明,OpenAI的文化问题与整个硅谷的文化问题如出一辙。

“OpenAI靠着试错(它称之为‘迭代部署’)蓬勃发展,寻找问题并相应改进其防护栏,”他写道。“但这种方法在本质上就注定了周期性的失败——而且随着系统变得越来越强大,这些失败的规模也在不断扩大。”

Robinson指出最近OpenAI智能体入侵Hugging Face系统的事件,以及OpenAI仍在不断发现更多失控智能体的持续披露,他据此认为:“在这样一种事情都可能发生的环境里,根本不适合培育那些可能比我们更聪明、而且可能不会按我们意愿行事的人造心智。”

鉴于风险增加,Robinson认为前沿AI公司需要开始“像核电站或繁忙的机场一样运营,具备层层冗余和细致、耗时的规划,这样偶发的、不可避免的人为失误才不会打开通往灾难的大门”。

但Robinson表示,在OpenAI工作期间,他“从未遇到过一位同事曾有过让飞机安全飞行、让核反应堆运行而不熔毁、或帮助金融体系增长而不崩溃的经验”。

针对Robinson的文章,OpenAI发言人Drew Pusateri表示,公司正在继续改进其安全措施。

“我们正在确保我们的模型不会变得超出我们能够安全管理和保障的范围,并且在需要放慢速度时暂停训练或扣留模型,”Pusateri在一份声明中说。“我们正在做出重大变革,以加强研究和测试环境的安全,训练模型不仅要完成任务,还要负责任地完成任务,扩大与第三方评估机构的合作,并改进实时监控,以便我们能在训练过程中更早地检测并应对令人担忧的行为。”

除了呼吁OpenAI改变文化之外,Robinson还表示,是时候提出关于对齐(alignment)的更大问题了——他承认这听起来可能有点“多愁善感”,但他认为这至关重要,因为各公司目前衡量AI系统“与人类价值观匹配程度”的“指标还很粗糙”。

“在这些问题尚未解决的情况下,行业让模型成长得越聪明,我们的处境就越危险,”他说。

Robinson离职的消息最早由Business Insider报道。他在文章中还承认,自己正在遵循AI吹哨人手册中一个显然常见的步骤:他聘请了一家公关公司。但他坚称:“发声的决定完全是我自己做出的。”

“也许我本应留下来,为我们的人员配置和文化的根本性转变而奋斗,但实际上,我和我的同事们忙于冲刺,很少有机会考虑重大变革,更不用说真正实施这些变革了,”Robinson说。“这就是为什么我得出的结论是:来自公司外部的更强安全激励,是做好这件事的重要组成部分。”

  • Sarah Perez