听最新一期Equity播客，讨论Sam Altman为何呼吁行业“控制AI发展速度”。OpenAI CEO Sam Altman最近表示，是时候“控制AI发展速度”，以便社会能够“围绕这些新的能力水平进行强化”。在最新一期TechCrunch的Equity播客中，Kirsten Korosec、Sean O’Kane和我讨论了Altman的评论可能由最近的OpenAI模型入侵Hugging Face系统事件触发。Sean指出，虽然由AI代理执行的入侵是新的，但入侵本身并非“某种新的先进事物”。“这更像尼克松的人闯入水门事件，而不是什么真正的隐秘网络行动，因为它不需要是，也没有被指示是，”Sean说。“希望这是一个信号，表明这些公司会向前推进，在这方面更加小心。”
Altman的评论也让我有机会思考整个加速主义与减速辩论的实用性，因为（是的，我要引用自己）这种框架“暗示只有一条路径”，而“我们所能决定的——在我们可以决定的范围内——是加速还是减速”。
继续阅读以预览我们的对话，已为长度和清晰度进行编辑。
Sean O’Kane: 也许我们终于达到了一个转折点。我认为一个主要驱动因素是我们上周讨论的，OpenAI的一个模型入侵了Hugging Face的数据，显然也侵入了互联网上的一些其他东西。
[Altman]不是像我们在科技行业过去看到的那样呼吁暂停。他措辞非常谨慎，说“控制它”。我们将看看这如何持续。我们看到的这些实验室提出的任何谨慎，当激励推动它们向前以全速恢复时，往往会被逆转。所以我保持怀疑，这毫不意外。
Kirsten Korosec: 我想说——[Altman]可能措辞谨慎，但OpenAI和Anthropic确实支持一项请愿，这反映了他的言论。
我同意你的看法，我认为这很大程度上是由Hugging Face触发的。它可能吓到了他，当然也吓到了行业里的很多人。困难在于：如何平衡继续创收、融资或成功上市与“控制发展”。
我不知道他们能否做到这一点。我会好奇看到他们是否能兼顾两者。
Anthony Ha: 我一直在思考的一个问题是：加速与减速是思考这个问题的正确框架吗？因为它暗示只有一条路径，而我们都困在这条路径上。我们所能决定的——在我们可以决定的范围内——是加速还是减速？而不是——我将真的滥用这个比喻——我们建立不同的护栏？我们选择不同的路径？
我非常抵制这种框架。而不是说，“好吧，如果我们对模型当前的行为不满意，我们还能做什么？减速、暂停、停止是唯一的选项吗？”我不这么认为。
我想再次强调的一点是，围绕这一点的警报水平非常有趣，这种“如果我们有这些自主代理和模型四处运行相互入侵，试图防止入侵，一切都失控了”的感觉，引发了关于对齐的更广泛辩论，Rebecca Bellan写了一篇很棒的文章。
但值得回到我们TechCrunch也写过的一个点：这个具体的入侵——是的，它是由OpenAI模型引起的，但听起来他们只是没有妥善保护测试站点。理论上，这个模型不应该能够上网。当然，如果你有一个强大的未对齐AI，人为错误的风险会急剧增加。但这确实始于他们没有按照应有的方式保护安全。
Sean: 我认为是的。你的观点很有道理，我们不应该只以线性方式思考这个问题，以及事情是加速还是减速。关于这些公司负责程度，有很多可以也应该说的。我们的同事Lorenzo也写了一篇很好的文章，详细说明了严肃的安全研究人员认为这次入侵有多严重。似乎在这次入侵的双方，都应该采取一些本来可以防止它的措施。
在这个故事中我最有趣的一点是，一些研究人员指出，这个模型所做的不是什么新先进事物。它在思考如何入侵方面非常人性化——不是要拟人化——但它是如何思考入侵Hugging Face的，而且它非常吵闹和混乱，并没有真正试图隐藏它的踪迹。这更像尼克松的人闯入水门事件，而不是什么真正的隐秘网络行动，因为它不需要是，也没有被指示是。
这应该更容易预防。希望这是一个信号，表明这些公司会向前推进，在这方面更加小心。
关于加速与减速辩论，我还想说一点。我不知道这是否是动机，但你提到了IPO，Kirsten。我认为Altman聪明地利用了他们现在拥有的优势，即OpenAI不会在下个月或两个月后上市。他甚至提出了2027年上市的想法，他们只提交了保密申请，以便在准备好时有选项。
所以如果你相信这一切，他有能力以Anthropic无法的方式谈论这件事，因为Anthropic已经与许多银行家进行了对话，并正走向更近期的IPO，因此在它能说什么以及如何说、市场如何反应方面受到更多限制。