跳到正文
原文
AGI Hunt· Ok-Breadfruit-3523·· 3 小时前AI 评分49

6 张 AMD BC-250 矿卡搭本地 LLM 集群:100k 上下文 28 tok/s

6 张 AMD 矿卡集群跑本地 LLM:100k 上下文 28 tok/s

AI 导读

Reddit 用户用 6 块 BC-250 矿卡(ASRock 4U12G 机箱)搭出本地 LLM 集群。4 块板跑 Qwen Next Flash IQ2XS,100k 上下文约 28 tok/s、50k 上下文 24 tok/s(约 115 ppt);另外 2 块跑 Qwen 3.6 35B Q4,达 60 tok/s、100k 上下文、450 ppt。

来源:AGI Hunt · agihunt.info