Hashimoto 第二道预测题：残差改为 0.5x_i+0.5x_{i-1} 并重调 LR，掉点吗？

Hashimoto 出了第二道预测题：8 层 prenorm Transformer 从第二个 block 起把残差更新改为 0.5x_i+0.5x_{i-1}+f_i(x_i)，让残差路径混合前两步状态，问 Δ=Lmixed−Lstandard 是正是负、差多少。