跳到正文
原文
AGI Hunt· okoyl3·· 4 小时前AI 评分43

老机新用:IBM AC922 跑 Qwen 推理预填充达 7357 tok/s

AI 导读

开发者改造 2018 年的 IBM AC922(双路 POWER9 + 4×V100 SXM2),用 fork 的推理引擎 Strata 跑 Qwen 8B UD-Q4KXL 量化模型,预填充峰值达 7357 tok/s、解码约 113 tok/s。

来源:AGI Hunt · agihunt.info