arXiv cs.AI· Shenghui Li, Thiemo voigt·· 2 小时前AI 评分37
LoRA 预算受限:面向适配器集群的功能感知事后压缩
LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets
AI 导读
研究提出 FRA(Functional Rank Allocation),一种无需标注的 LoRA 适配器集群压缩方法:先为每个适配器构建功能秩-失真前沿,再在共享秩预算下做集群级 minimax 分配。在三个公开集群共 78 个适配器上,FRA 在受限预算区间的最坏情况和尾部效用优于统一谱压缩。
来源:arXiv cs.AI · arxiv.org