AGI Hunt· tom_doerr·· 3 小时前精选AI 评分67
FreeToken 开源:消费级硬件本地跑 290B+ MoE 模型
FreeToken 开源:消费级硬件本地跑 290B+ MoE 模型
AI 导读
开源项目 FreeToken 是面向边缘设备的 MoE 推理引擎,来自 FlashML-org,已获 14k star,可在游戏 PC 等消费级硬件上以较快交互速度本地运行 290B+ 参数的开源权重 MoE 模型。
推荐理由
项目给出带宽自适应的 CPU 与 GPU 协同执行策略,便于了解在消费级硬件上运行大 MoE 模型的工程取舍。
来源:AGI Hunt · agihunt.info