作者：Jianhua Li、Yun Xing、Girisha De Silva、Ryan Flint、Kai Yuan、Sean Suchter
对 GPU 加速机器学习推理的需求不断增长，暴露了集中式 GPU 基础设施的局限性，包括成本高昂、弹性有限，以及资源受限时的漫长等待时间。与此同时，现代基于 Apple Silicon 的 macOS 设备配备了强大的 GPU，但在日常使用中大部分时间处于闲置状态。本文提出 Minions，一种动态分布式虚拟 GPU 云，它聚合跨 macOS 设备的闲置 Apple Silicon GPU，以执行大规模机器学习推理工作负载。Minions 使团队能够利用现有硬件，而无需额外采购 GPU。该系统提供灵活的 GPU 推理任务执行、容错能力和高效的资源利用。我们的经验表明，在集中式 GPU 资源受限的环境中，闲置的 macOS 设备可以转化为实用的分布式 GPU 推理平台。
使用 MLX 和 M5 GPU 中的神经加速器探索 LLM
搭载 Apple 芯片的 Mac 在希望利用自己的 Mac 试验最新模型和技术的 AI 开发者和研究人员中日益流行。借助 MLX，用户可以在 Mac 上高效地探索和运行 LLM。它让研究人员能够在自己的硬件上、以私密环境试验新的推理或微调技术，或研究 AI 技术。MLX 适用于所有 Apple 芯片系统，并且与最新的…
使用 ReDrafter 加速 NVIDIA GPU 上的 LLM 推理
加速 LLM 推理是一个重要的机器学习研究课题，因为自回归 token 生成计算开销大且速度相对较慢，提升推理效率可以降低用户面临的延迟。除了持续致力于加速 Apple 芯片上的推理之外，我们最近在加速业界广泛用于生产应用的 NVIDIA GPU 上的 LLM 推理方面取得了重大进展…