AGI Hunt· campaigner_·· 3 小时前精选AI 评分70
8GB 显存跑 176K 上下文 MoE 模型，36 t/s 解码的完整参数配置公开
8GB 显存跑出 176K 上下文 36 t/s，实测配置全公开
AI 导读
Reddit 用户公开了一套在 8GB 显存加 32GB 内存机器上运行大上下文 MoE 模型的完整参数配置，实现 36 t/s 解码、约 340 t/s 预填充、176128 上下文长度。
推荐理由
给出了 8GB 显存运行 176K 上下文 MoE 模型的完整参数取舍，可作为本地长上下文推理的配置参考。
来源：AGI Hunt · agihunt.info