burny_tech 纠正生成模型讨论：不是 gradient descent，而是 mode collapse

burny_tech 纠正网上把某现象归咎于 gradient descent 的说法，指出正确诊断是 mode collapse，且与优化器无关。他表示 GAN 的对抗训练目标比扩散模型目标更易引发 mode collapse，尽管两者实践中都用 AdamW 训练。他还称，若理解 RLHF/RLVR/RLAIF 的 mode collapse，这就是最不令人意外的图。