AGI Hunt· naklitechie·· 3 小时前精选AI 评分66
LocalMind 纯浏览器跑 37GB Qwen MoE，专家权重从磁盘流式加载并对齐 llama.cpp
纯浏览器跑 37GB Qwen MoE：专家权重从磁盘流式加载，输出对齐 llama.cpp
AI 导读
LocalMind 新版本在浏览器标签页内从磁盘流式读取 MoE 专家权重，让模型体积可以超过机器内存，且输出与 llama.cpp 逐 token 对齐。实现上 GGUF 先载入浏览器私有文件系统 OPFS，稠密权重、路由器和 KV cache 留在 GPU，被路由的专家留在磁盘，由 worker 池按需同步读入 GPU 槽位缓存（LRU 加两层预取）。
推荐理由
文中给出与 llama.cpp 逐 token 对齐的实测数据和速度差距，可据此判断浏览器本地推理的可行边界。
来源：AGI Hunt · agihunt.info