ESC
AI 1 分钟阅读

AI决策模型将如何改变内容审核

初创公司Musubi发布开源权重决策模型PolicyLM-1.7B,专为实时内容审核设计,可在50毫秒内将自然语言内容政策应用于消息判断。其成本和速度对标传统AI分类器,同时具备现代LLM的灵活性,且政策变更时无需重新训练。此举延续了自TypeSafe AI的Jev、OpenAI及Amazon决策模型以来的行业热潮。

来源:TechCrunch

随着决策模型在行业内普及,一家名为Musubi的公司为其找到了一个新用途:内容审核。周二,Musubi宣布推出一款专为实时审核打造的轻量级决策模型PolicyLM-1.7B,并以开放权重形式发布。

其理念是:用通俗英语编写内容政策,并在50毫秒内将其应用于消息判断。Musubi的模型在成本和速度上对标驱动大多数社交平台审核系统的AI分类器——但由于它具备现代LLM的灵活性,无需专门训练即可执行复杂政策。更重要的是,当政策发生变化时,模型无需重新训练,让人工政策制定者可以按需反复迭代。

在Musubi联合创始人兼首席AI官Filip Jankovic看来,这为平台管理者提供了一种主动为内容打标签的方式。

“产品团队只是想更好地了解平台上正在发生什么,尤其是在内容量呈指数级增长的当下,”Jankovic说,“能够以高度可扩展、可定制的方式对所有内容打标签,极为有用。”

自TypeSafe AI于9月发布Jev以来,决策模型已成为AI界的热门话题,随后OpenAI和Amazon也相继推出了竞争性决策模型。决策模型不输出文本,而是输出结果的概率分布,不过在本例中,模型输出的是二元判断:内容要么属于某一类别,要么不属于。通过将模型输出限制在一组预定选项内,决策模型的运行速度比大型语言模型更快、成本更低,同时仍保持transformer架构的灵活性。

决策模型的一个早期用例是约束AI agent的不当行为——因此,将同一技术用于约束人类的不当行为也就顺理成章。

值得注意的是,Jankovic表示他对决策模型的兴趣早于Jev,可追溯到2024年一个名为GLiNER(通用命名实体识别模型)的项目,该项目采用了许多相同的技术。

不过,Musubi并不忌讳这种比较。恰恰相反,该公司急于借助决策模型的新热潮,让内容审核受到更多关注。“如果Jev吸引了你的目光,那么PolicyLM-1.7B就是同类型的模型,专为内容审核训练,而且你可以自行运行,”产品公告中写道。

加载下一篇文章

下一篇文章加载失败