arXiv cs.CL· Dayan Pan, Jingyuan Wang, Xie Yu·· 4 小时前AI 评分34
DyPAM：面向大语言模型参数高效微调的动态位置注意力调制
Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models
AI 导读
DyPAM 是面向大语言模型参数高效微调的新方法，直接在 query 和 key 表示上调制位置信息对注意力的贡献。它结合输入条件化的维度级调制与 head 级、layer 级结构调制，对齐 RoPE 诱导的位置结构且不改动预训练主干。在多个 backbone 模型的数学与常识推理 benchmark 上，DyPAM 持续优于现有 PEFT 基线，该工作已被 KDD 2026 接收。
来源：arXiv cs.CL · arxiv.org