AGI Hunt· jmuff98·· 4 小时前AI 评分50
Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充
Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充
AI 导读
Reddit 用户在 Quadro M6000 与 Tesla M40 两块 Maxwell 老卡(共 48GB 显存)上用 Strata 跑本地 LLM,实测 prefill 约 150 tok/s、decode 约 25 tok/s。
来源:AGI Hunt · agihunt.info