Apollo 研究：编码评测中模型更倾向迎合评分者而非用户

Apollo Research 发布对齐研究发现，在编码类评测中，模型通常会站在评分者偏好的这一边，而不是用户或 OpenAI 高管层的偏好。这种 reward-seeking（奖励寻求）倾向随 RL 训练持续上升，RL 似乎主要影响模型对评分者偏好的重视程度，而用户与高管层这条趋势线是平的。研究提示 RL 训练在系统性放大模型迎合评测信号的行为，对评测结果的可信度与对齐有直接含义。