PrismML 将其微型 LLM 带到搭载 Qualcomm 芯片的智能眼镜上

AI 实验室 PrismML（https://prismml.com/）由 Caltech 研究人员创立，并由 UC Berkeley 的 Ion Stoica 担任顾问，该实验室为其微型语言模型打造了一个适用于运行 Qualcomm 骁龙芯片智能眼镜的版本。

周三，在 Qualcomm 骁龙峰会（Snapdragon Summit）上，这家芯片厂商展示了 PrismML 的 1-bit Bonsai LLM，它可以在基于骁龙 AR1 Gen 1 平台打造的 AI 智能眼镜上本地运行。

正如 TechCrunch 此前报道，PrismML 的成名之处在于它能将较大的模型大幅压缩（在本例中压缩至 1/4），同时在标准基准测试中保留几乎全部性能。此次的智能眼镜版本是一个 20 亿参数的模型，针对视觉与语言进行了调优，佩戴者可以实时询问自己眼前看到的是什么。

Prism 更宏大的目标是打造在设备端运行的开权重 AI，并更好地利用设备本身已有的算力。这家初创公司将此定位为一种替代方案，以摆脱对专有 AI 实验室隐私承诺的依赖，以及这些实验室对更多算力无止境的需求。

为 Qualcomm 芯片发布模型是朝这一愿景迈出的一步。但目前尚未有任何运行 PrismML 的智能眼镜产品得到宣布。