arXiv cs.CL· Rong Huang, Yi Xiong, Yuan-Yuan Cheng, Xiao-Ming Fu·· 2 小时前AI 评分34
分层低秩重参数化方法：把 LoRA、DoRA 等 PEFT 的可训练参数再压缩约一个数量级
Hierarchical Low-Rank Reparameterization for Parameter-Efficient
AI 导读
研究者提出分层低秩重参数化方法，将 PEFT 的可训练参数重排为近似方阵并递归做低秩分解，逐层压缩参数量。它与 LoRA、DoRA、MoSA、RaSA 结合，在 LLaMA-3.1-8B、Qwen2.5-7B 上评测常识推理，并在 LLaMA-3.1-8B 上补测 GSM8K。参数被压缩约一个数量级后，其在 8 个常识推理基准上的平均准确率仍具竞争力，甚至超过对应基线。
来源：arXiv cs.CL · arxiv.org