Magnitude
让你的智能体运行本地模型。免费、隐私、离线。
Magnitude 是一个开源推理服务器，可为你的硬件运行最佳本地模型，并接入你已经在用的智能体。它会分析你的机器配置，推荐适配的模型，然后下载、调优并运行它们。支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline，也可以使用内置的 harness。
⭐ 帮助我们触达更多开发者，壮大 Magnitude 社区。给这个仓库点个 Star 吧！
快速开始
把这段话发给你的智能体，让它带你完成模型选择和配置：
帮我用 Magnitude CLI 设置本地模型。用 `npm i -g @magnitudedev/cli`（或我的包管理器）安装，然后运行 `magnitude docs onboarding` 并按照说明操作。
你的智能体会分析你的硬件，引导你了解最适合的本地模型，下载你选中的模型，并将自己切换到这些模型上。
Magnitude 支持 macOS 和 Linux。Windows 可通过 WSL 支持。
想直接浏览模型？
npm i -g @magnitudedev/cli
magnitude setup
交互式设置让你浏览推荐的模型并自行选择。
为什么选择 Magnitude？
- 运行免费： 无需 token 费用、API 密钥或速率限制
- 完全隐私、离线运行： 模型、提示词和文件都留在你的机器上
- 智能体优先的配置方式： 一句提示词，剩下的交给智能体完成
- 了解你的硬件： 分析你的芯片、内存和带宽
- 推荐最合适的模型： 为你的机器推荐最佳模型，并给出预估 tok/s
- 端到端调优： 推测解码、并发等设置，全部针对你的机器预先配置好
- 按需加载模型： 请求时加载，空闲或内存不足时卸载
- 开源： Apache 2.0 协议，可自由修改
常见问题
什么是 Magnitude？
一个开源推理服务器，为你的硬件运行最佳本地模型，并接入你已经在用的智能体。它会分析你的机器，推荐适配的模型，然后下载、调优并运行它们。
我需要什么硬件？
没有固定的最低要求。Magnitude 会分析你的硬件并推荐最适合你机器的模型。内存越大，能运行的模型越大。
为什么不让我的智能体直接配置 Ollama？
那样智能体只能靠猜。它不知道你的硬件配置、哪个量化版本合适、运行速度有多快。Magnitude 为智能体提供一个针对你的机器计算出推荐结果的模型目录、一个能写入 harness 配置的引导流程，以及专为智能体工作负载构建的推理服务。模型按需加载，在空闲或内存紧张时卸载。
支持哪些 harness？
Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline。在设置过程中，你的智能体会将你的 harness 连接到你选择的模型。也可以使用 Magnitude 内置的 harness。
设置之后我还需要管理 Magnitude 吗？
不需要。它在后台运行，在智能体需要时加载模型，在空闲或内存紧张时卸载。你的智能体随时可以通过 Magnitude CLI 安装或切换模型。
我的数据会上传到云端吗？
不会。提示词、文件和模型都留在你的机器上。
可以完全离线运行吗？
可以。下载好 Magnitude 和模型后，无需联网即可使用。
可以使用目录之外的模型吗？
可以。你可以从 Hugging Face 下载兼容的 GGUF 模型，并在 Magnitude 中使用。
了解更多
许可证
Magnitude 基于 Apache License 2.0 许可证开源。