跳到正文
原文
AGI Hunt· Bayliner1980·· 4 小时前AI 评分48

稠密模型转 MoE 实测:Qwen2.5-1.5B 速度提升 32%、困惑度恶化约 40%

稠密模型转 MoE 实测:速度提升 32%,困惑度恶化约 40%

AI 导读

作者发布 Qwen2.5-1.5B-MoE-A0.9B 及 0.5B/1.5B 的 GGUF 版本,1.5B 版在 RTX 4060 上生成速度提升 32%(191→253 t/s),CPU 端提升 41%,是首个 GPU 端也明显快于稠密版的转换。

来源:AGI Hunt · agihunt.info