跳到正文
原文
arXiv cs.AI· Shenghui Li, Thiemo voigt·· 2 小时前AI 评分37

LoRA 预算受限:面向适配器集群的功能感知事后压缩

LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets

AI 导读

研究提出 FRA(Functional Rank Allocation),一种无需标注的 LoRA 适配器集群压缩方法:先为每个适配器构建功能秩-失真前沿,再在共享秩预算下做集群级 minimax 分配。在三个公开集群共 78 个适配器上,FRA 在受限预算区间的最坏情况和尾部效用优于统一谱压缩。

来源:arXiv cs.AI · arxiv.org