ESC
AI 1 分钟阅读

MicroLLM Lab:在浏览器中试用 7 个微型大语言模型

MicroLLM Lab 是一个基于 WebGPU 硬件加速的浏览器工具,可运行、基准测试并对比 7 个小型语言模型(25M–360M 参数),全程本地运行、100% 私有、零服务器成本、无需账号。工具采用正则/精确匹配等客观测试评估模型准确率与持续解码速度,数据仅存于本机,并可生成包含设备硬件信息的可验证性能证书供分享。

来源:Hacker News

在你的浏览器中直接运行、基准测试并对比小型语言模型(SLM),借助硬件加速的 WebGPU 实现——100% 私有,零服务器成本,无需账号。

前沿模型(GPT-4、Claude)的部署服务成本高达数百万,还会引入网络延迟。紧凑模型(25M–360M 参数)则可作为超快速、高效率的边缘层运行:

已加载到本设备:…(保存在浏览器 IndexedDB 缓存中)

客观测试(正则表达式 / 精确 token 匹配),而非写作质量评判。允许 135M 模型失败——这正是测量的意义所在。先选择模型,再运行。如果我们有你的历史数据,估算将使用你上次的 tok/s(每秒 token 数)。

速度(tokens/s、持续解码、测试套件总耗时)与准确率(客观测试通过率)均来自本浏览器内的实际运行结果。数据仅保留在本机上。图表使用每个模型最新一轮测试套件的结果。

生成并下载一份可验证的性能证书,其中包含你的设备硬件信息、峰值与持续 tokens/秒,并可分享你的成绩。