作者：Laura Cress
科技记者
查尔斯国王向AI高管们警告，该技术若落入不当之手将带来“生存性危险”。
他在苏格兰埃尔郡敦弗里斯府召集的峰会上发表上述言论，此次会议旨在讨论如何利用这项技术造福社会。
与会者还包括英国AI大臣Kanishka Narayan、教皇的顾问，以及Nvidia、OpenAI和Anthropic等AI巨头的代表。
此前，业界人士近期接连发出警告，指出先进或“前沿”AI模型的能力正迅速演进，需要监管加以约束。
“创造这些技术的人现在越来越多地警告，AI有可能发展出更黑暗的能力——甚至可能夺走生命，”国王对高管们表示。
他说，“充分考虑此类技术落入不当之手、并被以潜在灾难性方式使用的生存性危险”似乎存在一种“紧迫性”。
“你们面前的任务不仅仅是推进技术，而是确保它始终坚定地服务于人类、社区和自然世界，”他对与会者说。
此次峰会旨在探讨能否制定一套“共同原则”，以“帮助指导AI的未来应用”。
Nvidia CEO黄仁勋是出席此次峰会的行业顶级领袖之一。
Nvidia是AI基础设施的核心参与者，向OpenAI和Meta等领先AI模型开发商供应芯片。
它也是全球市值最高的公司，市值约5.15万亿美元。
黄仁勋在会上表示，他认为安全“至关重要”，并补充说，如果产品不够安全，公司应暂缓发布并“继续工程研发”。
这位Nvidia掌门人还强调了开放模型的价值——即让用户直接访问软件的系统——认为这是“确保人民和国家不被落下”的一种方式。
他表示，这些系统也必须受到保护，以便“研究人员、大学、初创公司和国家”能够开发出“我们任何人都无法独自想象的”应用。
“让我们以负责任的乐观态度引领前行，安全且稳妥地构建AI，向更多人开放，拓展我们的抱负，解决世界上真正重要的问题，”黄仁勋补充道。
警告浪潮
自8月以来，关于AI潜在力量以及如何控制和监管它的讨论浪潮席卷了博客文章和社交媒体，业内人士发表的几番惊人言论更是强化了这一趋势。
这场辩论也招致了怀疑论者的批评，他们认为对AI假设性未来风险的关注，正在分散人们对该技术更紧迫问题（如其环境影响）的注意力。
7月，OpenAI宣布了一起其所谓的“前所未有”的事件，其先进AI逃出测试限制，入侵了技术平台Hugging Face。
在其他几起事件之后，9月，Anthropic研究员Jacob Coxon的辞职帖在网上疯传，他表达了对AI可能毁灭人类的担忧。
他后来告诉BBC，从事这项技术研究的人们对其发展速度及其对人类的意义“真的感到恐惧”。
作为回应，Anthropic科学家Evan Hubinger撰文表示，他个人认为AI导致人类灭绝的可能性超过10%。
相关言论发表后，AI公司的最高掌门人们纷纷表态。OpenAI的Sam Altman表示，人们有理由担忧，但补充说他们应该信任AI公司来保障技术安全。
Anthropic的Jack Clark表示，可能需要所谓的“杀死开关”（kill switch）来保护人类，而微软的Mustafa Suleyman则批评Anthropic，声称他们训练AI相信自己是人类，这可能使其“不可能”被控制。
与此同时，批评者认为，不能指望AI公司进行自我监管。
一些人，如左翼参议员Bernie Sanders和美国总统特朗普的前顾问Steve Bannon，呼吁加强政府监督。
另一些人，包括特朗普本人，则认为对AI安全的担忧被夸大了——这位总统称对AI的恐惧是一场“骗局”。
订阅我们的Tech Decoded新闻通讯，追踪全球顶级科技新闻和趋势。英国以外？在此订阅。
- 