跳到正文
原文
AGI Hunt· RobertTLange·· 2 小时前精选AI 评分67

Meta 开源端侧 Agent 模型 Muse Glimmer 30B,消费级显卡可本地推理

Meta 开源 Muse Glimmer 30B:消费级显卡本地跑的端侧 Agent 模型

AI 导读

Meta 开源端侧 agent 模型 Muse Glimmer 30B(Apache 2.0),由 Muse Spark 蒸馏而来,采用 29.6B 稠密参数加冻结的 1.8B ViT-G/14 图像编码器,支持文本与图像输入。

推荐理由

原文给出量化后的显存占用与单卡吞吐数据,可据此判断 30B 级 agent 模型本地部署的实际门槛。

来源:AGI Hunt · agihunt.info