MoE 架构入门：路由器按 token 挑选专家网络，只激活部分参数

MoE 架构由路由器（router）为每个 token 挑选需要激活的专家网络，无需对每个输入运行完整模型，从而节省算力和处理时间。模型总参数量可以很大，但任一时刻只有被选中专家的参数加上所有输入都会用到的共享参数生效。帖中称 Meta 开源模型 Muse Spark Open 采用该架构，不过这一说法未经验证。