跳到正文
原文
AGI Hunt· tom_doerr·· 3 小时前精选AI 评分67

FreeToken 开源:消费级硬件本地跑 290B+ MoE 模型

FreeToken 开源:消费级硬件本地跑 290B+ MoE 模型

AI 导读

开源项目 FreeToken 是面向边缘设备的 MoE 推理引擎,来自 FlashML-org,已获 14k star,可在游戏 PC 等消费级硬件上以较快交互速度本地运行 290B+ 参数的开源权重 MoE 模型。

推荐理由

项目给出带宽自适应的 CPU 与 GPU 协同执行策略,便于了解在消费级硬件上运行大 MoE 模型的工程取舍。

来源:AGI Hunt · agihunt.info