跳到正文
原文
AGI Hunt· CyberExplore·· 6 小时前AI 评分43

8-16GB 显存新思路:通用模型编排多个领域专家小模型

AI 导读

有开发者提出面向 8-16GB 显存的新思路:用通用模型当编排器、编排多个领域专家小模型,试图在低端 PC 上打败 MoE。他认为 MoE 激活参数虽少但整个模型必须驻留显存,对 8-16GB 显卡不友好,该方案还能并行榨干 GPU。他正从零构建领域专用本地模型,以通用预训练+严格后训练产出推理与规格说明模型、交由编码模型执行,并呼吁社区合力训练社区模型。

来源:AGI Hunt · agihunt.info