arXiv cs.CL· Bing Wang, Changchun Li, Xin-Qiang Cai, Lin Yuanbo Wu, Ximing Li, Gang Niu, Masashi Sugiyama·· 2 天前AI 评分37
EoupCT：为 LLM 持续微调估计并正交化未知预训练梯度
Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models
AI 导读
EoupCT 提出估计并正交化未知预训练梯度的框架，用于 LLM 持续微调以缓解灾难性遗忘。它用带 Gumbel-Softmax 松弛的可学习软提示生成新任务最易遗忘的伪数据来估计预训练梯度，并以一阶高效 Pareto 优化器联合优化 LLM 参数与软提示，强制新任务更新与估计梯度正交。多个 LLM 实验显示可兼顾任务能力与通用知识，该工作已被 NeurIPS 2026 接收。
来源：arXiv cs.CL · arxiv.org