arXiv cs.CL· Jaeyun Kim, Hoonki Lee, Susie Shin, Hyunmin Kim, Dahyun Lee, Sangyeob Kim·· 3 小时前AI 评分34
DPA-MoE:面向 MoE 推理的运行时精度控制框架
DPA-MoE: A Runtime Precision Control Framework for MoE Inference
AI 导读
DPA-MoE 是一个让 MoE 路由专家支持任意精度的运行时精度控制框架:把专家前馈权重编码为 prefix-decodable chunks,推理时按实时 router gate scores 分配 chunk,使单个 checkpoint 无需重训练或重新编码即可切换多种有效权重预算。
来源:arXiv cs.CL · arxiv.org