AGI Hunt· petrusenko_max·· 4 小时前AI 评分62
纯 C 推理引擎 Janas 从 SSD 流式加载 MoE，32GB 笔记本跑 80B 达 37 tok/s
纯 C 推理引擎 Janas 从 SSD 流式加载 MoE,32GB 笔记本跑 80B 达 37 tok/s
AI 导读
纯 C 推理引擎 Janas 通过把 MoE 专家权重从 SSD 流式加载，运行超过内存容量的模型，在 32GB 内存笔记本上跑 Qwen3-Next-80B（权重 48GB）达到 37 tok/s，无 draft 模式为 24 tok/s。
来源：AGI Hunt · agihunt.info