arXiv cs.CL· Michele Paolicelli, Alessandro Petruzzelli, Alessandro Franceso Maria Martina, Cataldo Musto, Giovanni Semeraro·· 2 天前AI 评分35
MoSAR：学习自适应且可近似注意力几何的语义注意力模式混合
MoSAR: Mixture of Semantic Attention Regimes for Learning Adaptive and Approximable Attention Geometries
AI 导读
MoSAR 把注意力近似视作几何问题，用输入条件的 query/key 路由器在短、中、全局三种模式间混合，学习连续的距离相关注意力场，并可在训练后经 top-1 路由离散化。在 500M 参数匹配模型的预训练实验中，它未降低语言建模质量，困惑度优于 dense RoPE，长度外推下优于 ALiBi 等基线取得最佳困惑度。
来源：arXiv cs.CL · arxiv.org