跳到正文
原文
AGI Hunt· libbyt91·· 4 小时前AI 评分22

双路 Xeon+768GB 内存老工作站跑本地 LLM 还有没有用武之地

AI 导读

一位 Reddit 用户询问 2018 年左右的 HP Z8 工作站(双路 Xeon Gold 6248R、768GB 2933MHz DDR4 内存、单张 RTX 3090)跑本地 LLM 还有没有实际用途。该机内存虽大,但仅有一张 24GB 显存的 3090,用户自嘲「除了当船锚没用」。社区常见讨论方向包括仅靠 CPU/内存跑大参数量化模型,或作为推理与实验的辅助节点。

来源:AGI Hunt · agihunt.info