图注：
前Anthropic员工谈AI：‘人类有可能灭绝’
作者：Brandon Livesay、Mitchell Labiak（商业记者）
一名从AI公司Anthropic离职的人工智能研究员表示，从事这项技术工作的人们对其发展速度以及它可能对人类意味着什么’真心感到恐惧’。
他说：‘我相信，如果我们不以目前的速度放缓发展，很有可能我们在不久的将来都会死去。’
Jacob Coxon是在他关于AI危险的辞职帖文走红后接受BBC采访的，此时业界对AI安全的担忧正日益加剧。
这位27岁研究员的前老板、Anthropic负责人Dario Amodei近日呼吁放慢AI发展——尽管有人质疑其背后的动机。
两家竞争AI公司的老板——OpenAI的Sam Altman和xAI的Elon Musk——都表示赞同Amodei关于全行业减速和监管、以及对AI模型开发进行独立监测的提议。
Amodei在周六发表的一篇文章中写道，发展这项技术本身没有问题，但与之相关的风险是’严重的’，必须给企业和政府时间去应对。
曾在加入Anthropic之前供职于OpenAI的Coxon对放缓的建议表示欢迎，但他表示，这需要与中国协调，以避免’国际规模的竞赛’。
他在Sunday with Laura Kuenssberg节目中表示：‘这些公司的员工在要求监管时是完全认真的，因为他们发现自己被困在一场竞赛中。他们害怕这场竞赛带来的后果。’
据Coxon所说，最难回答的问题是AI末日究竟会是什么样子。
Amodei言论中概述的风险之一是，一大群机器人可以像一台超级计算机那样协同行动并接管互联网。
Coxon表示，这种情况在六个月到一年内就可能成为现实。
针对Coxon的离职，Anthropic发言人对BBC新闻表示：‘我们一直透明地表示，AI将带来巨大收益，也将带来前所未有的风险。
‘为了应对这些风险，我们持续构建拥有业界最强防护措施之一的模型。’
发言人补充说，该公司一直是研究AI模型工作原理的先驱。它是首家发布缓解AI开发风险框架的公司——并且还’积极’测试其模型并公布结果，以帮助外界审视并防止’AI失配’（AI misalignment）事件。
‘这项工作也是我们相信全世界将受益于行业采用合法、可验证的方式展开合作、以控制强大模型发布节奏的原因。‘该发言人表示。
Coxon说，他的同行们担心危险甚至可能在未来两年内到来。
他说，AI公司的员工们正在’规划自己这辈子要做什么，并思考自己工作的影响’，还有一些人’考虑到某个地方购买土地，因为他们非常害怕AI快速发展带来的不稳定’。
‘他们在开发这项技术的同时，每天都把这些记在脑子里。’
不过，Coxon对AI的未来确实抱有一些乐观态度。他告诉BBC，研究这项技术的人们’真心希望看到它的好处’，比如’治愈疾病、改善每个人的生活’。
自Coxon在社交媒体发帖以来，业内许多其他人也表达了担忧，其中包括Anthropic科学家Evan Hubinger。
Hubinger说：‘我们确实真诚地相信AI有可能杀死全人类！我个人认为，未来十年内这一概率超过10%。’
被誉为’AI教父’的计算机科学家、诺贝尔奖得主Geoffrey Hinton周五告诉BBC，AI有10%的概率杀死全人类，这一估计’并非不合理’。
与此同时，AI安全公司Faculty的首席执行官Marc Warner告诉BBC的The World This Weekend节目，很难为AI杀死全人类’赋予一个确切概率’。
‘但重要的是要认识到，这些人所说的非常真诚。‘他补充说，并指出多年来多家AI公司的负责人一直在提出围绕AI的风险。
曾担任英国首相、现为Anthropic有偿顾问的Rishi Sunak在《星期日泰晤士报》撰文称，尽管总体上持乐观态度，但他也担心AI对人类构成的风险。
然而，一些业内人士暗示，关于AI危险与能力的言论可能是为了制造炒作。
AI平台Hugging Face的首席执行官Clement Delangue在社交媒体上表示：‘抱歉，但问Jacob [Coxon]关于AI灭绝风险，就像问你的空调维修工关于气候变化。我并不是说这一定无趣或错误，但让我们理性看待事情。’
在Amodei发表文章之后，多位与会人士告诉BBC，Nvidia老板Jensen Huang上周在投资银行高盛主办的一次会议上也谈到了Coxon的言论。他们表示，Huang将这些言论斥为不实。
Huang此前曾表示，AI’将成为人类的终结’这种说法是’彻底的胡说’。
尽管他可能在AI繁荣中拥有商业利益——Nvidia制造为AI系统提供算力的芯片——但他的言论反映了硅谷对现任和前任员工发出的生存警告日益增长的反感情绪。
其他批评者则称，Anthropic一直试图推动监管以阻断竞争，让自己和OpenAI形成双寡头格局。
据报道，Anthropic正准备进行可能创下纪录的首次公开募股（IPO），届时人们将能够购买其公司股票。
OpenAI最近一轮估值为8520亿美元（6300亿英镑），此前外界预计它也会走上同样道路，但OpenAI的Altman周五表示，出于安全方面的担忧，今年不会进行IPO。
