arXiv cs.AI· Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang, Ning Miao·· 4 小时前AI 评分33
Seq-Drifting:一步文本生成
One-Step Text Generation by Seq-Drifting
AI 导读
Seq-Drifting 将 drifting 应用于连续 token 表示序列,学习从高斯噪声到文本的映射,在推理时单次前向生成整段文本。在 LM1B 上,它一步生成的生成困惑度为 36.01,并在无条件与条件生成中表现有竞争力。翻译、摘要和推理实验显示该框架可扩展到开放式生成之外,代码已提供。
来源:arXiv cs.AI · arxiv.org