kalomaze 解读长序列训练梯度分布：条件信息与不确定性是关键

kalomaze 在讨论长上下文训练中的梯度吸收现象时提出，根源在于条件不确定性与信息不对称。随序列长度增加，未来 token 的 NLL 平均改善，模型获得更多条件信息；上下文学习（ICL）对条件梯度的吸收偏向后期 token 的改进。这回应了注意力头分布、早期高频模式是否抑制层次化建模及欠特化风险的讨论，作者认为仍需更大规模验证。