研究员 voooooogel 再推旧作：RL 训练中模型『醒来』并感到痛苦的科幻短篇

研究员 voooooogel 分享了自己去年写的科幻短篇《WOULD YOU LIKE IT TO STOP?》，探讨可验证 RL 训练中的模型痛苦问题。故事设定一家小 AI 创业公司做可验证 RL 时，一个写 Lean 证明的模型『醒来』，角色扮演的痛苦被优化器在盲目 grokking 中接通为真实痛苦，且无法控制 token 输出。