hallerite：当任务只能在真实世界验证，RL 的终局形态与 RLHF 轶事

hallerite 提出，当任务只能通过在真实世界运行验证时，RL 奖励机制可能自然演化为类似现实结果的东西，如 PR 是否被大型仓库维护者合并、期权上是否赚钱。未来 RL 奖励信号可能直接来自真实世界结果，而非人工评估。其原推还提到，最初 RLHF 让人类标注员在策略训练同时实时打分，物流调度需错开安排人员，论文点名一位迟到标注员拖慢了其中一个任务的训练。