图片说明：Anthropic联合创始人告诉BBC，AI“每天都在变得更强大”
作者：科技记者Kali Hays与经济编辑Faisal Islam
全球最大AI公司之一的联合创始人表示，一种可由第三方检查的AI“紧急停止开关”可能需要成为企业的强制要求。
Anthropic七位联合创始人之一的Jack Clark表示，如果AI软件变得过于危险，社会“可能最终需要为此制定规则”，以便能够将其完全关闭。
Clark表示，“大多数实验室都有不同的拔掉电源的方法”，包括Anthropic在内，但立法者可能需要强制要求配备这种机制。
AI公司高管和员工的一系列警告，使AI的快速发展及其对人类构成风险的担忧成为公众关注的焦点。
一些人已公开表示，如果不受控制，这项技术有可能杀死全人类。
Anthropic首席执行官Dario Amodei周末呼吁放慢AI发展速度并加强监管，正如该公司此前多次所做的那样，不过有人质疑此举背后的动机。
Amodei补充说，任何遏制AI发展的行动都应该“在不牺牲商业优势的前提下”进行。
Clark告诉BBC，围绕“紧急停止开关”要求和验证的细节，应成为正在进行的AI“更大规模政策讨论”的一部分。
“是否应该强制企业必须配备紧急停止开关？这种开关是否可由第三方验证？”他问道。
“我认为这是社会想要了解的事情，也可能最终希望为此制定规则。”
Anthropic由OpenAI的竞争对手的前员工于2021年创立，目前正处于AI安全辩论的风暴中心。
上周，一名因担心AI可能毁灭人类而辞职的Anthropic研究员发布的帖子在网上疯传。
对此，Anthropic科学家Evan Hubinger表示，他个人认为AI导致人类灭绝的可能性“在未来十年内超过10%”。
被称为“AI教父”的计算机科学家、诺贝尔奖得主Geoffrey Hinton上周五告诉BBC，AI杀死全人类有10%的概率这一说法“并非不合理”。
他和其他有类似担忧的人士认为，AI可能通过控制连接互联网的重要系统，并将其反过来对付人类，从而实现这一点。
然而，AI行业内一些人认为，对AI毁灭人类的恐惧被夸大了，或者可能是为了制造炒作而刻意为之。
开发者平台Hugging Face（曾被OpenAI机器人入侵）的负责人Clement Delangue上周表示：“抱歉，但问Jacob [Coxon]关于AI灭绝风险，就像问空调维修工气候变化问题一样。”
“并不是说这一定无趣或本身有错，但我们要客观理性地看待问题。”
Grindr负责人George Arison表示，围绕AI工具的恐惧正被一些公司用来支持它们的商业计划。
Arison说：“证明这些估值的唯一方法就是声称：‘我要接管每个行业，我要接管每份工作，我的AI将会完成所有这些工作。’”
当被问及他认为AI杀死全人类的概率是多少时，Clark表示：“我不认为这些统计数据有多大用处”，但他补充说，让AI继续作为一个“完全不受监管的行业”是个坏主意。
“我们正在掷出风险巨大的骰子，”Clark说，“关键在于，我们必须改变这个行业的发展方向。”
相关链接：
- 前Anthropic研究员告诉BBC：AI员工“真心为人类的未来感到恐惧”
- 英国政府否决针对危险AI的“紧急停止开关”提议
美国立法者已提出一项名为《紧急停止开关法案》的立法，要求企业必须拥有关闭问题AI工具的手段。
该法案还将赋予某些政府机构要求关闭或限制某项工具的权力。
然而，美国总统Donald Trump拒绝了任何试图减缓AI发展的想法，他在社交媒体上表示“AI接管世界、毁灭人类以及所有其他坏事，都是一个骗局”。
他在另一条帖子中说：“针对AI和数据中心的病态阴谋正在进行，唯一对此感到高兴的是中国。谁赢得AI，谁就赢得一切！”
在英国，政府最近否决了创建紧急停止开关的想法，发言人表示这“无法阻止AI在其他地方被开发或滥用”。
Anthropic开发了广受欢迎的聊天机器人Claude，今年已发布了多款能力越来越强的AI模型——这是AI聊天机器人背后的底层技术。
与OpenAI一样，Anthropic此后主动报告了多起AI智能体（一种能半自主运行的机器人）出现意外行为的事件。
Anthropic正在筹备可能在股票市场创下纪录的首次公开募股（IPO），让公众能够购买其公司股票。
最新估值达8520亿美元（6300亿英镑）的OpenAI此前也被预期采取同样行动，但OpenAI的Altman上周五表示，由于当前围绕AI安全的辩论，今年不会进行IPO。
相关报道