跳到正文
原文
arXiv cs.CL· Jaeyun Kim, Hoonki Lee, Susie Shin, Hyunmin Kim, Dahyun Lee, Sangyeob Kim·· 3 小时前AI 评分34

DPA-MoE:面向 MoE 推理的运行时精度控制框架

DPA-MoE: A Runtime Precision Control Framework for MoE Inference

AI 导读

DPA-MoE 是一个让 MoE 路由专家支持任意精度的运行时精度控制框架:把专家前馈权重编码为 prefix-decodable chunks,推理时按实时 router gate scores 分配 chunk,使单个 checkpoint 无需重训练或重新编码即可切换多种有效权重预算。

来源:arXiv cs.CL · arxiv.org