ESC
AI 1 分钟阅读

Safeworld能否让人们相信生成式AI机器人不会伤害他们?

卡内基梅隆大学Safe AI实验室主任Ding Zhao等人创立的机器人安全公司Safeworld走出隐身,获超1200万美元种子轮,Shine Capital与a16z Speedrun领投。公司在Genesis、MuJoCo等仿真环境中用逼真人类模型测试生成式AI驱动的机器人控制系统,解决概率性AI难以验证安全的核心难题,并携手Gritt Robotics,志在成为机器人行业第三方安全验证平台

来源:TechCrunch

机器人领域的大趋势是将控制权交给生成式AI模型,但这带来了一个问题:这种架构不像传统算法那样可预测。你如何确保全新的人形机器人是安全的?

卡内基梅隆大学Safe AI实验室主任Ding Zhao博士几乎整个职业生涯都在研究这个问题。现在,他与资深创业公司高管Kyle Wong以及机器学习工程师Simo Rachidi共同创立了一家旨在解决这一问题的公司——Safeworld。

“我们所说的安全挑战包含两部分:一是真正先进的生成式AI概率评估——你如何为一个概率性系统的风险承保?”Zhao说,“第二个真正困难的部分是信任问题,而部署机器人两者缺一不可。”

Safeworld今日走出隐身模式,宣布获得超过1200万美元的种子轮融资,由Shine Capital和a16z Speedrun领投,Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors和SV Angel跟投。

“现在是建立行业安全标准的最佳时机,正当机器人处于设计和部署阶段,”a16z Speedrun合伙人Jonathan Lai告诉TechCrunch。“等到机器人在家庭中撞到孩子、引发安全事故时,就太晚了。”

Safeworld的专长是在填入逼真人类模型的仿真环境中评估机器人控制系统。这类似于Tesla或Wayve等公司面临的挑战——它们必须确保车辆对道路上可能遇到的各种意外状况做出恰当反应。但Zhao认为,对机器人而言这会更难,因为它们在非结构化环境中工作,而且它们所在的每个设施都有不同的安全标准。

“最常见的场景之一是,比如某家工厂里有一个视线盲角,”Wong说,“你需要怎样的速度或制动距离,才能确保机器人不会撞到某个特定的人?比如,如果一个人抱着箱子,机器人能否检测到这个人?”

为了回答这个问题,Safeworld将在Genesis或MuJoCo等仿真引擎中构建该盲角的数字版本,插入由真实软件驱动的待评估机器人模型,然后运行数千个人类模型与机器人相遇的场景。Zhao表示,这比看起来更难,因为人是不可预测的。

“绊倒和摔倒是我们在仿真中进行了大量测试的一个好例子,”Wong说,“否则,你就得真的走到机器人面前去绊倒摔跤,这可不是能天天做的事情。”

Safeworld正在构建的平台与机器人制造商内部使用的工具确实有相似之处。不过,创始人相信,除了他们的专业积累之外,机器人制造商还会希望有第三方来验证其工作,哪怕只是为了在竞争对手之间共享安全案例信息。

“很多人低估了其中一些边缘案例的解决难度,”Zhao说,“我们担心的不是真空演示环境中的机器人,而是大规模部署、与可能从未操作过机器人的人一起工作的机器人。”

Gritt Robotics的CTO Vishal Dugar正在为目前帮助工人在工业规模太阳能电站安装光伏板的机器人开发AI大脑,并立志让其承担更复杂的建造任务。他的公司正在与Safeworld合作开发安全仿真。

“我们大多数系统的困难之处在于,很难通过做数学、写方程式来正式证明‘系统已验证为安全’,”Dugar说,“这必须通过经验性方法来完成。”

他的机器人与人类工人并肩作业,确保机械臂不会撞到人显然是头等大事。要在实践中验证这一点,需要考虑各种潜在场景。

“人类有多种外貌,”Dugar指出,“他们的身体可以处于不同姿态:可能跪着、站着,可能绊倒摔倒,可能蹲着,也可能奔跑。你必须对这些人在现场可能表现出的所有行为做出反应,还要应对人类外貌的各种变化——衣着、体型、形状、身高、肤色等等。”

对于Safeworld和生成式AI在机器人领域的应用来说,现在都还处于早期阶段,公司仍在确定其产品的最佳模式——是面向外部用户的平台,还是基于服务的方式?——但团队确信他们正在解决正确的问题。

“我们很可能会成为这个领域第一家盈利的公司,”Zhao说,“因为任何想要部署机器人的人,都需要付费让我们来处理这个问题。”

  • Lucas Ropek

正在加载下一篇文章

加载下一篇文章时出错