EVALUESTEER：最佳奖励模型超25%场景无法对齐用户价值观

Kshitish Ghate 与 Maarten Sap 等发布论文 EVALUESTEER，发现最佳奖励模型在超过 25% 的场景无法对齐用户价值观与风格偏好。该研究考察奖励模型能否被引导向用户特定价值观，论文将在 ICLR 海报展示（10月26日）。这表明用于对齐 LLM 的奖励模型并非中性载体，对用户个性化价值的可引导性存在明显上限。