ESC
开源 1 分钟阅读

Show HN:TurboGPT——13秒训练22KiB的transformer

TurboGPT 是一款在 Hacker News 上展示的开源项目,可在13秒内训练一个仅22KiB的微型 transformer 模型。项目提供 Nix 与 Windows 构建方式,需 Visual Studio 2022 C++ 工具与 CUDA,可通过 CudaArch 参数指定 GPU 计算能力。训练 checkpoint 保存模型、优化器、调度器和训练器状态,支持用 --load 恢

来源:Hacker News

nix-build -o build/nix-result

Windows 平台需 Visual Studio 2022 C++ 工具和 CUDA 13.4:

.\build.ps1 -CudaArch 86

CudaArch 是 GPU 的计算能力,可在 NVIDIA 的 CUDA GPU 列表中查询。

.\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4

运行时会把 checkpoint 存储在 runs/ctx4/ctx4.pt,其中包含模型、优化器、调度器和训练器状态。使用 --load CHECKPOINT.pt 即可恢复训练。