跳到正文
原文
AGI Hunt· lkarlslund·· 3 小时前AI 评分46

RTX6000 上跑 Qwen 3.8 Flash Next,解码飙到 400 tok/s

AI 导读

新 fork NInfer6000 在 RTX6000 96GB 上优化 Qwen 3.8 Flash Next 推理,理想条件下解码达 400 tok/s、prefill 约 13K tok/s。

来源:AGI Hunt · agihunt.info