MoE 稀疏率约 5% 引发意识复杂度辩论

Josh Purtell 在与 Victor Levoso 关于意识与复杂度的辩论中举证：当前 LLM 的 MoE 架构通常仅以约 5% 的稀疏率运行。他认为这一稀疏出于硬件与训练约束，而非模型总复杂度与有效复杂度的真实比例，MoE 总参数远多于激活参数，模型依然有效且更复杂。他据此反驳对方「大脑没有大量闲置复杂度」的论断。

推友围绕意识与计算复杂度激辩：VictorLevoso 主张大脑运算速度至多 10^21 ops/s、更可能仅 10^15-10^16 ops/s，意识须在亚秒尺度运转，其功能性复杂度不会高出实际活跃计算几个数量级。JoshPurtell 反驳该论证不成立，并反问对方是否了解 LLM MoE，是否认为 MoE 不比同等激活参数的稠密模型更复杂。争论中 MoE 稀疏率仅约 5% 被用作反驳实例。

VictorLevoso 重申其论点：大脑实际运算至多 10^21 ops/s，更可能约 10^15-10^16 次/秒，意识所需功能复杂度不可能超出正常时间尺度上实际被使用的活跃计算量，否则那部分「额外复杂度」根本派不上用场。JoshPurtell 回复称完全没看懂这一论证。

Victor Levoso 在意识与计算复杂度的讨论中估算，有效复杂度约在 10^16 量级：GPU 中每个原子若是一个齿轮规模确实相当于地球大小，但这不代表真实相关的复杂度有那么高。他认为前沿 LLM 拥有数万亿参数，按此类比并非「仓库级大小」，意识所需的复杂度应远低于系统总复杂度，否则在正常时间尺度上根本用不上。