willcb：除 RL 外的算法都是在用代理目标回避直接优化

X 用户 willcb 指出，把 RL 当作「可能不对、也许能找到更好算法」的普通算法是误解，RL 是目标函数梯度自然推导出的结果。用其他算法等于放弃对最终目标的直接优化、转而依赖代理，仅在目标不精确或能获取静态数据集、教师模型、过程评估等教师信号时有用。若目标能显式写清，策略梯度就是进步的最小方差无偏估计量。