跳到正文
原文
AGI Hunt· Numerous-Fan8138·· 12 小时前AI 评分41

把 llama.cpp 编译成 WASM:纯浏览器端跑 LLM 的概念验证

AI 导读

开发者用 WebGPU 把 llama.cpp 编译成 WASM,做出 LLM 完全在浏览器客户端运行的概念验证(POC),并附上演示视频。该实验中推理全部发生在用户设备上、无需服务器,属于客户端/端侧 LLM 部署方向的技术尝试,对应开源项目 Llama.wasm。

来源:AGI Hunt · agihunt.info