arXiv cs.AI· Loay Mualem, Llu\'is Pastor-P\'erez, Vinh Tong, Andrei Manolache, Tanja Bien, Steffen Staab, Mathias Niepert·· 8 小时前AI 评分37
GoldiMask：用上下文选择与目标加权微调扩散语言模型
Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting
AI 导读
GoldiMask 通过近似最大化子模目标选取可见 token 作为上下文，并按受益程度与剩余学习潜力对预测目标加权，用于离散扩散语言模型的监督微调。在三种骨干模型和三个训练数据集上，它在多数评测设置中取得最高平均准确率，推理与代码生成均有提升。消融实验显示上下文选择与目标加权均有贡献，且在 GSM8K 与 MATH-500 的置信度阈值并行解码下减少了迭代次数。
来源：arXiv cs.AI · arxiv.org