arXiv cs.AI· Xinsong Feng, Chenan Wang, Leshu Tang, Johnny Liu, Dong Li, Da Li, Haipeng Chen·· 3 小时前AI 评分36
DELA:为扩散语言模型学习可控编辑
DELA: Learning Controllable Edits for Diffusion Language Models
AI 导读
DELA 是一个插件式框架,让冻结的扩散语言模型通过 Insert、Delete、Remask、Stop 四种显式动作实现可控的草稿级精炼。它采用两阶段解码:快速仅追加的草稿阶段支持 KV-cache 复用,随后全局精炼阶段对整份草稿做有针对性的非单调编辑。在数学推理和代码生成任务上,DELA 相比直接扩散解码最高提升 5.5 个百分点,且骨干保持冻结。
来源:arXiv cs.AI · arxiv.org