跳到正文
原文
AGI Hunt· JoshPurtell·· 5 小时前AI 评分22

MoE 稀疏率仅约 5%:Josh Purtell 以此反驳意识复杂度论断

MoE 稀疏率仅约 5%,被用作反驳意识复杂度论断的实例

AI 导读

Josh Purtell 在与 Victor Levoso 关于意识与复杂度的辩论中举证:当前 LLM 的 MoE 架构通常仅以约 5% 的稀疏率运行。他认为这一稀疏出于硬件与训练约束,而非模型总复杂度与有效复杂度的真实比例,MoE 总参数远多于激活参数,模型依然有效且更复杂。他据此反驳对方「大脑没有大量闲置复杂度」的论断。

来源:AGI Hunt · agihunt.info