AGI Hunt· LegacyRemaster·· 7 小时前AI 评分39
Windows 上跑 RTX 6000 Blackwell 96GB 本地模型,调优后 prefill 快过 Linux
Windows 上跑 Blackwell 96GB 本地模型,调优后 prefill 快过 Linux
AI 导读
开发者在 RTX 6000 Blackwell 96GB 上做针对性优化后,Windows 10 本地运行 OpenCode 和 Pi 的 prefill 速度追平甚至超过 Linux。优化针对 prefill 缓慢、内存充足却频繁触发 SSD 交换的问题,改动见 Strata 项目 PR #813。长上下文下性能不明显衰减,作者称将把这套引擎适配到其他 LLM。
来源:AGI Hunt · agihunt.info