在Anthropic研究员Jacob Coxon因担忧AI可能在这个十年末毁灭人类而辞职的第二天，我见到了两位创始人——连襟Rune Kvist和Rajiv Dattani。他们认为自己的方案有望拯救我们所有人，或至少能防止AI智能体在企业内部失控作乱。
“AI正以越来越快的速度变得更聪明。关于AI，令人意外的一点是：随着AI变得更聪明，采用和控制它反而变得更难，而不是更容易，”Kvist说。他是Anthropic早期员工，妻子是Dattani的姐妹。Dattani则是AI安全研究机构METR的前COO。
这对连襟创办了一家名为Artificial Intelligence Underwriting Company（AIUC）的初创公司，希望将AI安全带给企业以及构建AI模型和智能体的公司。该公司公布的客户包括Cursor、Lovable、Harvey和ElevenLabs。
周二，AIUC宣布完成4000万美元A轮融资，由Ribbit Capital领投，First Harmonic参投。此前，该公司完成了1500万美元种子轮融资，投资方包括Nat Friedman（通过其基金NFDG）、Emergence、Terrain以及Anthropic联合创始人Ben Mann等，总融资额达到5500万美元。
吸引这批顶级投资者注意的，是AIUC将一套人们熟悉的网络安全模式应用于全新AI风险的尝试。该公司为AI智能体构建了第三方审计与认证层。
“银行、医院、政府和军方不再因为模型不够聪明而拒绝部署AI，”Kvist说。“他们拒绝的原因是，他们已经向自己的客户承诺了系统会做什么、不会做什么，而目前没有人能对此做出保证。”
AIUC以广泛采用的网络安全标准SOC 2为灵感，制定了名为AIUC-1的标准，并提供测试服务，以验证智能体是否符合该标准。
为制定这一标准，AIUC组建了一个由约250位安全与风险负责人组成的联盟——他们正是智能体的买家。“我们每个月都会与这些人见面，我们问他们的问题是：当你从别人那里采购智能体时，你会看重什么？你想问哪些问题，希望看到哪些问题得到解决？”Dattani告诉TechCrunch。
这些反馈塑造了测试的内容。随后，该初创公司会让智能体接受约5000项测试，观察它在涉及越狱、幻觉和数据泄露等场景中的表现。测试结果会生成一份约100页的报告，详细说明智能体在哪些方面表现安全可靠——哪些方面则不然。有趣的是，AIUC使用AI智能体来执行测试，并用AI来分析数据。不过Kvist表示，最终审计仍由人类核验。
如果这听起来有些耳熟，那确实如此。Dattani的前雇主METR——他于2024至2025年担任该机构COO，目前仍是董事会成员——也在为前沿实验室进行类似测试，不过其工作此前主要聚焦于性能（智能体能否可靠地完成任务）。METR是OpenAI用于调查其Hugging Face事件的独立研究机构之一。
Anthropic CEO Dario Amodei最近也呼吁AI行业放慢前沿开发步伐，并援引了不良行为事件迅速增多的情况。在其文章中，Amodei提出了要求前沿实验室引入嵌入式第三方评估者来观察和验证安全性的想法，并点名METR是可能的人选之一。
虽然AIUC并未提议将自身嵌入客户现场，但整体思路类似：为企业的AI智能体安全性提供独立评估。“这里是它通过测试、你可以信任的部分。这里是存在顾虑的部分。在做出购买决定之前，你应该了解这些参考信息，”Dattani说。
作者：Rebecca Bellan