跳到正文
原文
AGI Hunt· jfinkpottery·· 3 小时前AI 评分49

Reddit 用户用 3 张二手 V100 跑 Qwen-Flash-Next,近 400 tokens/秒

3 张二手 V100 跑 Qwen 近 400 tokens/秒

AI 导读

Reddit 用户 jfinkpottery 自研推理引擎 sfnx,在老旧 Dell R740 服务器里用 3 张二手 V100 32GB(Volta 架构)让 Qwen-Flash-Next 跑出近 400 tokens/秒的生成速度。该引擎从 strata 分叉而来,核心针对老一代 Volta GPU 从头构建,代码已在 GitHub 开源,展示了用廉价二手硬件跑新模型的可行路线。

来源:AGI Hunt · agihunt.info