AGI Hunt· CyberExplore·· 6 小时前AI 评分43
8-16GB 显存新思路:通用模型编排多个领域专家小模型
AI 导读
有开发者提出面向 8-16GB 显存的新思路:用通用模型当编排器、编排多个领域专家小模型,试图在低端 PC 上打败 MoE。他认为 MoE 激活参数虽少但整个模型必须驻留显存,对 8-16GB 显卡不友好,该方案还能并行榨干 GPU。他正从零构建领域专用本地模型,以通用预训练+严格后训练产出推理与规格说明模型、交由编码模型执行,并呼吁社区合力训练社区模型。
来源:AGI Hunt · agihunt.info