热点事件持续更新
分层低秩重参数化压缩PEFT参数
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月28日，arXiv cs.CL 收录一项研究，提出分层低秩重参数化方法，用于进一步压缩 LoRA、DoRA 等 PEFT 方法的可训练参数。该方法将 PEFT 的可训练参数重排为近似方阵，并递归进行低秩分解，从而逐层压缩参数量。研究者将该方法与 LoRA、DoRA、MoSA、RaSA 结合，在 LLaMA-3.1-8B、Qwen2.5-7B 上评测常识推理，并在 LLaMA-3.1-8B 上补测 GSM8K。报道称，参数被压缩约一个数量级后，其在 8 个常识推理基准上的平均准确率仍具竞争力，甚至超过对应基线。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
新论文提出分层低秩重参数化，将PEFT可训练参数压缩约一个数量级且准确率仍具竞争力。报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CL分层低秩重参数化方法：把 LoRA、DoRA 等 PEFT 的可训练参数再压缩约一个数量级
研究者提出分层低秩重参数化方法，将 PEFT 的可训练参数重排为近似方阵并递归做低秩分解，逐层压缩参数量。它与 LoRA、DoRA、MoSA、RaSA 结合，在 LLaMA-3.1-8B、Qwen2.5-7B 上评测常识推理，并在 LLaMA-3.1-8B 上补测 GSM8K。参数被压缩约一个数量级后，其在 8 个常识推理基准上的平均准确率仍具竞争力，甚至超过对应基线。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。