跳到正文
原文
AGI Hunt· naklitechie·· 3 小时前AI 评分64

llama.cpp WebGPU 按需磁盘换页，让 80B MoE 模型跑进 Chrome 标签页

80B MoE 模型跑进 Chrome 标签页:llama.cpp WebGPU 按需从磁盘换页专家

AI 导读

作者将手写磁盘换页方案移植进 llama.cpp 官方 WebGPU 后端，使其无需逐模型手写引擎即可运行任意 MoE 模型。

来源：AGI Hunt · agihunt.info

#教程/实践#端侧#部署/工程#开源生态#推理