arXiv cs.CL· Yuxuan Gu, Kequan Niu, Xiaocheng Feng, Yun Li, Yiqiao Yang, Bing Qin·· 3 小时前AI 评分40
SFT 该学什么？CIG-SFT 用条件信息增益提升后训练泛化性
What Should SFT Learn? Conditional Information Gain for Generalizable Post-Training
AI 导读
研究者提出 CIG-SFT，用条件信息增益衡量每个示范 token 的学习价值：在 teacher forcing 下比较冻结参考模型有无任务输入时的 token 似然。
来源：arXiv cs.CL · arxiv.org