AGI Hunt· EAccelerate_42·· 3 小时前精选AI 评分68
llama.cpp v0.7.0 发布：MoE 专家 GPU 缓存使解码最快提速 2.2 倍
llama.cpp v0.7.0 发布:MoE 专家 GPU 缓存使解码最快提速 2.2 倍
AI 导读
llama.cpp 发布 v0.7.0，新增 --moe-cache-mib 参数，为存放在主机内存中的 MoE 专家权重提供 GPU 端 LRU 缓存，专家下放时解码速度最高提升约 2.2 倍，且缓存可在多块 GPU 间共享。
推荐理由
llama.cpp v0.7.0 用 GPU 端 LRU 缓存管理主机内存中的 MoE 专家权重，解码最高提速约 2.2 倍，可对照本地部署场景评估收益。
来源：AGI Hunt · agihunt.info