跳到正文
原文
AGI Hunt· menhguin·· 4 小时前AI 评分35

MoE 共享专家溯源:无规模化收益证据,或损害后训练对齐性

追踪共享专家溯源:无规模化证据,或损害后训练对齐性

AI 导读

menhguin 追踪共享专家技术脉络后发现,没有任何规模化证据表明 MoE 共享专家在前沿规模预训练中有收益,反而可能降低后训练有效性与模型可对齐性。该机制全部源自一篇 DeepSeek MoE 论文,之后被照抄却都没发表验证结果。作者推测共享专家会损害专家专业化,让后训练中细粒度权重调整不够精准。

来源:AGI Hunt · agihunt.info