跳到正文
原文
AGI Hunt· jmuff98·· 4 小时前AI 评分50

Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充

Strata 让十年老卡复活:双 Maxwell GPU 跑本地 LLM 达 150 tk/s 预填充

AI 导读

Reddit 用户在 Quadro M6000 与 Tesla M40 两块 Maxwell 老卡(共 48GB 显存)上用 Strata 跑本地 LLM,实测 prefill 约 150 tok/s、decode 约 25 tok/s。

来源:AGI Hunt · agihunt.info