大模型 RL 蒸馏小模型的隐忧：能力校准缺失致过度自信

willcb 指出大模型 RL 训练后直接蒸馏到小模型的结构性问题：通用型小模型若不补充校准 RL，对自身能力的认知会失准，表现为过度自信、必要时不调用足够推理。大模型 RL 中「知道自己何时不行」的元认知未随答案模式一同蒸馏传递，小模型缺少与真实能力对齐的信号。因此蒸馏不应是终点，小模型需补充 RL 重新校准能力边界。