@ar0cket1 谈熵塌缩诊断：修复后或无需 SFT 回插，预训练 souping 效果意外好

@ar0cket1 在讨论中提出，若熵塌缩问题本身被修复（附有熵曲线图），或许就不必靠 SFT 重新注入探索能力。他对预训练阶段做 souping 的效果之好感到惊讶，但认为 critic 模块似乎没必要、怀疑它并未实际帮助。这给出对同一训练现象的另一种诊断：先修熵塌缩，再考虑配方。