arXiv cs.CL· Yang Liu, Shaoyang Xu, Masahiro Kaneko, Chengzhi Zhong, Wenxuan Zhang, Chenhui Chu·· 4 小时前AI 评分44
后训练如何塑造 LLM 的价值偏好？
How Does Post-Training Shape LLM Value Preferences?
AI 导读
基于 SFT、DPO、GRPO 的五条后训练路径受控实验显示，后训练会放大 LLM 价值偏好中的观点失衡，且放大程度因路径而异。价值偏好一旦被放大，后续后训练能否将其消除取决于后训练方法和语料中的观点混合比例；模型在干预下的稳定性也取决于后续后训练是否改变其价值偏好。这些价值偏好还会在蒸馏中迁移到学生模型，即使蒸馏语料没有显式观点问题。
来源：arXiv cs.CL · arxiv.org