在 Apple Podcasts 上收听 在 Spotify 上收听
AI行业似乎正在就其技术是否对人类生存构成威胁，展开迄今为止最激烈的一场辩论。
当前的讨论始于AI研究员 Jacob Coxon 表示已从 Anthropic 辞职，因为他担心领先的AI公司正在“拿我们的生命赌博”。随后，Anthropic 的对齐负责人发文宣称：“我们真的发自内心地相信AI可能杀死所有人类！”并补充说，他个人认为这种情况“在未来十年内发生的概率大于10%”。
在 TechCrunch 的 Equity 播客最新一期节目中，Kirsten Korosec、Sean O’Kane 和我讨论了这些最新的末日警告。我试图阐明为什么我对许多AI末日论叙事持怀疑态度，而 Kirsten 则询问这是否“只是以一种奇怪的方式炫耀自家公司的AI模型有多先进”，尤其在这些公司准备上市之际。
Sean 则想知道这些担忧可能会如何体现在 Anthropic IPO 的 S-1 文件中：“现在是不是有些初级律师正在逐字审查，不得不重写 S-1 文件中的整整一节，写成‘Anthropic 官方立场是：我们有超过10%的可能性开发出会灭绝全人类的东西，而这将对我们的业务造成重大不利影响’？”
请继续阅读我们对话的预览，内容经过长度和清晰度编辑。（注：我们在 Anthropic CEO Dario Amodei [
Sean O’Kane： 我很难想到有什么事情发酵得如此之快。不仅这位曾在 OpenAI 工作过的年轻研究员发出了这一警告信号，Anthropic 的对齐负责人还立即在 X 上转发了——他分享 Coxon 的帖子和讨论串时说：“我们真的发自内心地相信AI可能杀死所有人类！”这堪称史上最用错地方的感叹号之一，感叹号！
多么奇怪的氛围。这等于给本已充满火药味的帖子或系列帖子又浇了一大桶助燃剂。在 OpenAI 内部模型遭遇 Hugging Face 黑客事件之后，再加上 Anthropic 最新发布的模型以及几周前 OpenAI 的 Astra 所展现出的不断增强的能力，我认为对于这位年轻研究员来说，这番话的时机堪称完美，注定成为一件一触即发的事件。
Anthony Ha： 恕我不同意，我确实认为，如果你相信AI可能毁灭全人类，那这句话确实值得加感叹号。我要说，这是一个用得恰到好处的感叹号！
我对那条推文的问题更多在于“我们”。这里的“我们”是谁？我们在多大程度上可以把AI社区或AI研究社区当作一个整体来谈论？至于大于10%的概率——那只是一个编造出来的数字，没有任何意义。科技行业和其他领域有时都有一种习惯，就是随口抛出这些百分比，它们并非基于任何东西，也不是根据任何东西计算出来的。[回想起来，我意识到那条推文可能是在引用 P(doom) 的概念，但我仍然认为这很愚蠢。]
关于 Coxon 的声明和决定，我想说的是——这是 Equity 节目中反复出现的一个主题：当 Sam Altman 或 Dario Amodei 这样的人散布末日论叙事时，总有一个疑问：那么，你为什么还要做你现在做的事？如果你真的相信AI可能毁灭人类，你就不会继续做下去了。
而这次不一样，这实际上是一个把自己的职业轨迹与言论挂钩的人。他实际上是在说：“我相信这真的、真的、真的非常糟糕，我不想继续参与其中。”所以，至少凭这份勇气，值得称赞。
Kirsten Korosec： 是的，我把他和所有其他谈论危险、发出警告的人归入不同的阵营。
我要戴上我的推测帽，因为我想问你们两位一个问题：有没有可能，每次我们看到越来越多的博客文章讲述又一起AI智能体意外突破的事件，或者他们谈论人类面临风险的文章时，这其实是一种奇怪的炫耀方式，用来展示他们公司的AI模型有多先进？
我的意思是，这听起来很愤世嫉俗，但它确实达到了那个目的：如果这些AI模型不先进、不强大、没有突破，我们就不用担心这些事情了，对吧？这就像是一种非常奇怪的方式，来炫耀你在自己公司内部创造出的模型的能力。
Anthony： 我肯定也想过这个问题。我不认为这完全是愤世嫉俗的，也就是说，我不认为这全都是一种完全自觉的营销策略。我认为当很多这些人——无论是研究员还是CEO——谈论这个问题时，他们确实有真实的担忧。
但当然，这在很多方面确实符合他们的商业利益，比如说：“哇，我们制造了有史以来最致命的软件。”我不想在这里做太多心理分析，但其他人已经指出，在个人层面上存在这样一种诱惑：当然，你会希望自己正在研究的东西是世界上最重要、最危险的东西。
Sean： 当我思考这个问题时，脑海中浮现的是，确实有这样一种元素让人觉得：“好吧，我们正在做的这个东西如此强大，这对我们在某些方面有利，即使它在很多方面看起来很糟糕。”
我认为最近这些例子的不同之处在于，它真的给人一种感觉：这些公司在某些方面对这些东西已经失去了掌控力，尤其是 OpenAI 的事情。
我们不断看到越来越多的报道称，其他内部智能体访问了网络上不同的wiki，并互相留言，而且 OpenAI 处理这件事的方式似乎并不称职。我想，如果这完全是为了让人们相信“天哪，他们创造出了如此强大得难以置信的东西”，那么这个故事讲出来应该会更有修饰才对。
我认为这件事特别令人着迷的另一点是，我们距离看到 Anthropic IPO 的 S-1 文件最多只有几周时间，距离潜在的IPO也只有几周或一两个月。
而在IPO前夕用如此直白的语言说出这些话——我非常好奇这对整个上市进程意味着什么。这类内容有多少已经写进了 S-1 和文件中的风险因素部分？现在是不是有初级律师正在逐字审查，不得不重写 S-1 文件中的整整一节，写成“Anthropic 官方立场是：我们有超过10%的可能性开发出会灭绝全人类的东西，而这将对我们的业务造成重大不利影响”？
Kirsten： 你这是在假设那部分内容还没写进去。
Sean： 我正是这个意思：它是已经写进去了、正在改写措辞？还是这是一场真正的手忙脚乱？里面肯定已经有相关表述了。这也是我如此渴望读到这份文件的原因之一，某种程度上甚至超过了 SpaceX 的 S-1，因为我敢肯定里面可能有一些与这些想法相关的具体内容，会非常有意思。
Kirsten： 问题是：在传统投资环境下，人们可能认为这样的措辞会损害公司估值，因为它突然变得危险了。但我们生活的不是正常时代。
所以回到我的观点，它最终可能成为公司在估值方面一种奇怪的有利炫耀。这与我们去年看到的整个“愤怒诱饵”趋势不完全一样，但属于同一个宇宙，在这个宇宙中，某种东西的强度、能力，甚至危险元素，等于高估值。所以我想几周后就会见分晓。
先把这一点放在一边，现在到底在做什么来应对？我们能控制它吗？一个名为 ControlAI 的非营利组织的美国执行总监 Connor Leahy 本周做客节目，谈到了这个问题。那么，在控制AI危险方面，你们关注什么？还是说我们已经束手无策，只能眼睁睁看着一切展开？
Anthony： 我自己对此未必有一个很好的答案，但我一直在思考这场辩论的某些方面，以及为什么我会做出这样的反应。
呼应 Sean 的一个观点，我确实认为，这部分说明了一个问题：这些主要AI公司在多大程度上感觉自己已经无法真正掌控这些模型了。这绝对不是好事。这是我们都应该担心的事情。
我确实认为，我对末日论叙事持怀疑或抵触态度的部分原因在于，它达到了一种歇斯底里的程度：“哇，这可能在10年内毁灭人类。”这在一定程度上分散了人们对AI可能造成的更直接危害的注意力，无论是与劳动就业相关的，还是与环境、气候相关的。
理想情况下，我认为我们应该能够讨论所有这些问题，并对所有这些问题[包括AI的生存威胁]建立监管和其他保障措施。但一旦你开始使用 AGI 和超级智能这样的词汇，它就会以一种不太有帮助的方式吸干房间里所有的氧气。
加载下一篇文章
加载下一篇文章出错