Anthropic老板Dario Amodei表示，发展AI没有其他选择
Paulin Kola、Lily Jamali（北美科技记者），发自旧金山
AI公司Anthropic的负责人呼吁放慢人工智能模型的发展步伐，并对其进行密切监控。
Dario Amodei在一篇文章中表示，发展AI本身没有疑问，但与之相关的风险是“严重的”，企业和政府必须获得时间来应对这些风险。
两家竞争对手AI公司的掌门人——OpenAI的Sam Altman和Elon Musk——均表示同意Amodei的观点。
近期，人们对这项技术潜在风险的担忧日益加剧。本周从Anthropic离职的一名AI研究员告诉BBC：“如果我们不放缓当前的进展速度，很有可能我们在不久的将来都会死亡。”
Jacob Coxon告诉Laura Kuenssberg，AI公司的员工“真心感到恐惧……真心担忧人类未来两年的命运”。
“毫不夸张地说，参与创办这些公司并构建这项技术的人士都认为存在人类灭绝的可能性，”Coxon说。
“许多深入一线编写代码的人认为，人类可能死亡的概率大于百分之十，甚至更高。有些人的估计较低，但他们对人类可能死亡的概率各有不同的数字。而且他们在开发这项技术时，每天都把这些数字记在脑海里。”
在周六公开发表的题为《We Must Pace the Frontier》的文章中，Amodei提出了一项三点计划，包括在AI模型开发过程中进行独立监控、行业监管以及全球监管。
随着他的提议传播开来，甚至连竞争对手也支持由第三方监控者在模型开发过程中评估其安全性的想法。
“我同意Dario的观点，我们需要为前沿发展设定节奏，”OpenAI CEO Sam Altman在X上写道。他称独立评估者“是一个好主意”。
在接受《财富》杂志的新采访中，Altman表达了类似的安全担忧，表示相关标准还“没有到位”，不足以将AI能力进一步大幅推进。
他补充说，他认为AI超出人类控制是“绝对”可能的。
与此同时，Elon Musk表示这位Anthropic老板是“对的”。
这些警告引发了行动呼吁，但美国总统Donald Trump迄今拒绝了这些担忧，他在周四表示，他担心的是“如果我们在AI领域不能获胜，我们将处于非常糟糕的境地”。
一些观察人士还暗示，Amodei的发帖可能更多是为了巩固对AI技术的控制，而非出于安全考虑。
随着新模型展现出越来越强大的黑客攻击能力，网络安全的担忧日益加剧。
Anthropic在4月宣布其Mythos模型能够独立逃出被称为沙盒的测试环境后，未将该模型向公众开放使用。
在发布其最新Astra模型之前，OpenAI以网络安全担忧为由，解释其暂停了该模型开发的部分工作。
安全也已成为Anthropic与OpenAI竞争中的核心议题。
Amodei曾担任OpenAI副总裁，他表示自己在2021年联合创立Anthropic，就是为了构建更安全、更值得信赖的AI模型。
Amodei在文章中指出，AI的发展“急剧加速”，包括其“构建下一代AI的能力”——他还提到了竞争对手OpenAI披露的一起事件，该事件显示其智能体在7月对未被要求攻击的目标发动了网络安全攻击。
“这些OpenAI智能体基本上表现为一个狂热而忠诚的集体，”Amodei说。OpenAI已表示，因此正在放慢某些先进AI模型和工具的训练。
Amodei呼吁“以平衡的速度构建AI，在确保安全的同时仍实现其益处”。
这并不意味着“停止模型训练或技术进步，而是确保公司有足够的时间对模型进行对齐和安全保障，并让第三方评估者对此进行确认”。
他承诺Anthropic将“单方面”践行这一点——同时呼吁政府“要求其他前沿公司采取同样做法”。
Amodei表示，他认识到监管可能无法跟上AI的发展速度，因此呼吁AI公司“自愿合作制定标准”，与监管并行推进。
这位Anthropic CEO接着谈及放缓对行业以及与全球领先开发者（尤其是中国）竞争的影响。
“我相信，如果放慢速度能让我们在模型达到关键能力水平之前多争取一两年时间，而我们利用这段时间推进对齐工作，就能大大降低出现严重问题的风险，”Amodei说。
这必须以协调的方式进行，“且不牺牲商业优势或美国在AI领域的领先地位”。他表示，任何放缓都必须是有限度的，以避免让中国后来居上。
他敦促美国政府采取措施，确保美国公司的AI芯片不会出售给中国——或与威权国家共享该技术。
然而，他的前员工Jacob Coxon告诉BBC，放缓的倡议必须超越美国——“如果我们要避免国际层面的竞赛，就需要与中国进行某种协调一致的放缓”。
Amodei的发帖引发了广泛的回应。
AI平台Hugging Face的CEO Clement Delangue表示，他正在启动一个名为Open Alignment Initiative的新项目，并表示他希望成为Amodei提出的可作为解决方案一部分的“嵌入式评估者”之一。
Hugging Face今年早些时候曾被OpenAI智能体入侵，引发了对AI安全的强烈抗议。
“让我们通过提高透明度来让AI更安全。”Delangue在X上写道。
Elon Musk也表达了他的支持，写道“Dario是对的”。
Musk的SpaceXAI开发了备受争议的聊天机器人Grok，他曾称Anthropic“邪恶”，但自5月签署向Anthropic出售计算能力的150亿美元协议后，他的态度已有所改变。
然而，一些观察人士暗示，Amodei的发帖与其说是为了安全，不如说是为了巩固对AI技术的控制。
“Dario的论点是为了叫停开源，并将巨大的技术和经济权力集中在Anthropic手中，”投资者兼科技播客“All-In”联合主持人Chamath Palihapitiya写道。
在硅谷的某些圈子，放缓甚至暂停AI发展的想法长期以来一直受到此类怀疑态度的对待，批评者指责领先的AI开发者将其技术炒作作为一种营销手段。
据报道，Anthropic和OpenAI都在筹备可能创下纪录的首次公开募股（IPO）。
订阅我们的Tech Decoded新闻通讯，跟随全球顶级科技报道和趋势。在英国以外？在此注册。