AGI Hunt· tri_dao·· 3 小时前AI 评分45
新论文用欠阻尼二阶动力学解释 Mamba-3 状态旋转的振荡作用
AI 导读
《Understanding Mamba-3 Through Oscillatory Dynamics》把 Mamba-3 循环状态更新中的输入依赖旋转解释为欠阻尼二阶动力学,ρ 控制阻尼包络、θ 塑造振荡。受控对比实验显示振荡动力学在状态追踪任务上优于非振荡阻尼模式,预训练中也有益于长上下文预测与长度泛化。对预训练模型的干预证实学到的相位确实重要,旋转调节的是保留信息与新输入更新的结合方式。
来源:AGI Hunt · agihunt.info