AGI Hunt· Numerous-Fan8138·· 12 小时前AI 评分51
Llama.wasm 开源:llama.cpp 编译为 WASM 加 WebGPU,浏览器本地运行 LLM
Llama.wasm 开源:llama.cpp 编译 WASM+WebGPU,浏览器本地跑 LLM
AI 导读
作者开源了 Llama.wasm,一个把 llama.cpp 编译成 WASM 并借助 WebGPU 的概念验证仓库,让 LLM 完全在浏览器客户端运行,推理不经任何服务器。仓库基于 llama.cpp 编译为 WebAssembly,可在任何现代浏览器直接运行,并用 WebGPU 做端上 GPU 加速推理。作者称这是端侧部署的一条新路径,无需安装、无需后端,隐私数据不出设备。
来源:AGI Hunt · agihunt.info